人間誠實周鴻祎：360 All in 大模型的六個解讀
主筆 / 村口有牛文章架構師 / 毛自聰出品 / 巨頭財經(jīng)5月至今，人間躁動，各路大模型你方唱罷我登場，VC圈互聯(lián)網(wǎng)圈媒體圈已近癲狂。誰也沒想到，今日，360再度刷屏，老牌互聯(lián)網(wǎng)巨頭展現(xiàn)
10 月 19 日消息，科技媒體 marktechpost 昨日（10 月 18 日）發(fā)布博文，報道稱微軟公司開源了 bitnet.cpp，這是一個能夠直接在 CPU 上運行、超高效的 1-bit 大語言模型（LLM）推理框架。
用戶通過 bitnet.cpp 框架，不需要借助 GPU，也能在本地設備上運行具有 1000 億參數(shù)的大語言模型，實現(xiàn) 6.17 倍的速度提升，且能耗可以降低 82.2%。
傳統(tǒng)大語言模型通常需要龐大的 GPU 基礎設施和大量電力，導致部署和維護成本高昂，而小型企業(yè)和個人用戶因缺乏先進硬件而難以接觸這些技術，而 bitnet.cpp 框架通過降低硬件要求，吸引更多用戶以更低的成本使用 AI 技術。
bitnet.cpp 支持 1-bit LLMs 的高效計算，包含優(yōu)化內(nèi)核以最大化 CPU 推理性能，且當前支持 ARM 和 x86 CPU，未來計劃擴展至 NPU、GPU 和移動設備。
根據(jù)初步測試結(jié)果，在 ARM CPU 上加速比為 1.37x 至 5.07x，x86 CPU 上為 2.37x 至 6.17x，能耗減少 55.4% 至 82.2%。
bitnet.cpp 的推出，可能重塑 LLMs 的計算范式，減少對硬件依賴，為本地 LLMs（LLLMs）鋪平道路。
用戶能夠在本地運行模型，降低數(shù)據(jù)發(fā)送至外部服務器的需求，增強隱私保護。微軟的“1-bit AI Infra”計劃也在進一步推動這些模型的工業(yè)應用，bitnet.cpp 在這一進程中扮演著重要角色。
附上參考地址
Microsoft Open-Sources bitnet.cpp: A Super-Efficient 1-bit LLM Inference Framework that Runs Directly on CPUs
GitHub
本文鏈接：http://www.rrqrq.com/showinfo-45-9206-0.html微軟開源 bitnet.cpp 1-bit LLM 推理框架：不靠 GPU 可本地運行千億參數(shù) AI 模型，能耗最多降低 82.2%
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：[email protected]
上一篇： 山姆?阿爾特曼眼球掃描加密項目推出 Orb 新品：在 AI 時代驗證對象是否為人類
下一篇： 谷歌 Gemini Code Assist Enterprise 正式上線，可根據(jù)企業(yè)內(nèi)部代碼庫生成 AI 見解
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：[email protected] 津ICP備18001702號
津公網(wǎng)安備 12010102000574號