10 月 30 日消息,AMD 剛剛發(fā)布了一篇博客,講述了其 Ryzen AI 300 系列移動(dòng)處理器在本地大語(yǔ)言模型(LLM)性能方面的突破。
據(jù)稱(chēng),銳龍 AI 9 HX 375 處理器在 LM Studio(一款用于本地下載和托管 LLM 的桌面應(yīng)用,基于 llama.cpp,允許用 AVX2 指令來(lái)進(jìn)行 CPU 加速)進(jìn)行了測(cè)試,相比英特爾酷睿Ultra 7 258V 更快。

AMD 在此次測(cè)試中使用了 Meta Llama 3.2 的 1b 和 3b 模型、微軟 Phi 3.1 4k Mini Instruct 3b 模型、谷歌 Gemma 2 9b 和 Mistral 的 Nemo 2407 12b 模型,其中英特爾平臺(tái)采用了8533 MT/s 內(nèi)存,而 AMD 平臺(tái)則為 7500 MT/s。




如圖所示,AI 9 HX 375 上述五個(gè)大模型的測(cè)試中都比 Ultra 7 258V 更快,無(wú)論是速度還是開(kāi)始輸出文本的時(shí)間,優(yōu)勢(shì)最大時(shí)領(lǐng)先幅度達(dá)到了 27%。
提醒,英特爾 Ultra 7 258V 處理器與 HX 375 并不完全對(duì)等,其中 258V 屬于中高端產(chǎn)品,而HX 375 屬于旗艦型號(hào),AMD 直接對(duì)比似乎有點(diǎn)不公平。
當(dāng)然,LM Studio 同樣支持GPU 加速功能,而且 LM Studio 還支持 Vulkan API 進(jìn)行 GPU 加速。在啟用 GPU 加速后,AI 9 HX 375 比不使用 GPU 加速時(shí)快了 20%。

本文鏈接:http://www.rrqrq.com/showinfo-24-126998-0.htmlAMD:AI 9 HX 375 處理器在 LM Studio 中 Token 生成速度比英特爾酷睿 Ultra 7 258V 快 27%
聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:[email protected]
上一篇: 夜光手機(jī) Nothing Phone (2a) Plus 社區(qū)版發(fā)布:限量 1000 臺(tái),售 399 英鎊
下一篇: 【IT之家圖賞】追覓 T40 Ultra 洗地機(jī)實(shí)拍:首創(chuàng)靈捕智能升降機(jī)械臂、100℃火山湖浸泡洗技術(shù)