中國科學院自動化研究所李國齊、徐波團隊聯(lián)合沐曦metaX公司,成功研發(fā)出全球首款全流程國產(chǎn)化的類腦脈沖大模型——“瞬悉1.0”(SpikingBrain-1.0)。該模型基于團隊提出的原創(chuàng)內(nèi)生復雜性理論,在國產(chǎn)千卡GPU算力平臺上完成從訓練到推理的全流程開發(fā),顯著提升了超長序列推理的效率與速度,為構建自主可控的新型非Transformer架構大模型生態(tài)奠定了基礎。
研發(fā)團隊從大腦神經(jīng)元的工作機制中汲取靈感,提出了“基于內(nèi)生復雜性”的大模型架構方法。通過理論創(chuàng)新,團隊建立了脈沖神經(jīng)元內(nèi)生動力學與線性注意力模型之間的關聯(lián),指出傳統(tǒng)線性注意力機制本質(zhì)上是樹突計算的簡化形式。這一發(fā)現(xiàn)為提升模型復雜度與性能提供了新方向。基于此,團隊開發(fā)了兩種規(guī)模的類腦基礎模型:7B參數(shù)的線性復雜度模型和76B參數(shù)的混合線性復雜度模型(激活參數(shù)量達12B),并同步開源了代碼與測試平臺,同時發(fā)布了中英文技術報告。
為適配國產(chǎn)硬件環(huán)境,團隊針對沐曦metaX曦云C550 GPU集群,開發(fā)了高效訓練與推理框架,涵蓋Triton算子庫優(yōu)化、模型并行策略設計以及集群通信協(xié)議定制。這一系列技術突破使模型在國產(chǎn)算力平臺上實現(xiàn)了性能與效率的雙重提升。

團隊負責人李國齊指出,該成果不僅標志著我國在類腦計算與大模型融合領域取得關鍵進展,更為法律、醫(yī)療、科學模擬等需要處理超長序列數(shù)據(jù)的領域提供了高效建模工具。這一研究或為下一代神經(jīng)形態(tài)計算理論與芯片設計提供新的理論支撐。
本文鏈接:http://www.rrqrq.com/showinfo-24-181308-0.html全球首款類腦脈沖大模型“瞬悉1.0”誕生,全流程國產(chǎn)化引領類腦計算新突破
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com