6 月 12 日消息,面壁智能于本月 6 日晚發(fā)布端側(cè)大模型 MiniCPM 4.0。面壁智能官方今日發(fā)文稱,面壁 MiniCPM 4 與 Intel 全面適配,結(jié)合英特爾加速套件與 KV Cache 內(nèi)存增強技術(shù),實現(xiàn) AI PC 2.2 倍長文本推理優(yōu)化,端側(cè) AI PC 在 Day 0 全面適配,128K 長上下文窗口等多方面突破。

據(jù)介紹,此次面壁推出的 MiniCPM 4.0 系列 LLM 模型擁有 8B、0.5B 兩種參數(shù)規(guī)模,針對單一架構(gòu)難以兼顧長、短文本不同場景的技術(shù)難題,MiniCPM 4.0-8B 采用「高效雙頻換擋」機制,能夠根據(jù)任務(wù)特征自動切換注意力模式:在處理高難度的長文本、深度思考任務(wù)時,啟用稀疏注意力以降低計算復(fù)雜度,在短文本場景下切換至稠密注意力以確保精度,實現(xiàn)了長、短文本切換的高效響應(yīng)。
目前,具有 CPU、GPU、NPU 三個 AI 運算引擎的英特爾酷睿 Ultra 處理器已對此適配,并借助 OpenVINO工具套件為 MiniCPM 4.0 系列模型提供優(yōu)化的卓越性能表現(xiàn)。英特爾再次在 NPU 上對模型發(fā)布提供第零日(Day 0)支持,為不同參數(shù)量模型和應(yīng)用場景提供更多樣化的、更有針對性的平臺支持。

據(jù)了解,MiniCPM 4.0 可在 vLLM、SGLang、LlamaFactory、XTuner 等開源框架部署。其內(nèi)置自研 CPM.cu 極速端側(cè)推理框架,從投機采樣創(chuàng)新、模型壓縮量化創(chuàng)新、端側(cè)部署框架創(chuàng)新幾方面,帶來 90% 的模型瘦身和速度提升,官方宣稱將實現(xiàn)端側(cè)推理“從天生到終生”的絲滑。
本文鏈接:http://www.rrqrq.com/showinfo-45-13809-0.html面壁智能 MiniCPM 4 與 Intel 全面適配,實現(xiàn) AI PC 2.2 倍長文本推理優(yōu)化
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:[email protected]
上一篇: 國內(nèi)首個:中國天氣智能體臺風(fēng)頻道上線,自動推送臺風(fēng)預(yù)警
下一篇: AMD Advancing AI 2025 大會如期而至:重磅發(fā)布 Instinct MI350 系列 GPU 產(chǎn)品,推理性能提升達 35 倍