在競爭激烈的大模型領域,華為憑借其7180億參數的MoE架構模型openPangu-Ultra-MoE-718B,于最新一期SuperCLUE中文大模型通用基準測評中躋身前三,引發行業廣泛關注。該測評通過數學推理、科學推理、代碼生成等六大核心維度,綜合評估1260道題目,華為模型在開源與國產模型賽道中展現出強勁實力。
與傳統依賴海量數據堆砌的路徑不同,openPangu團隊提出“以思考替代堆砌”的訓練哲學,構建了覆蓋數據生成、篩選、增強的全流程質量控制體系。團隊建立三級審核機制,結合規則模型與人工評估,嚴格過濾低質量樣本;同時通過去重算法與壓縮選樣技術,在保證領域覆蓋廣度的前提下避免數據冗余。針對模型復雜場景推理能力不足的痛點,團隊引入自迭代拒絕采樣策略,重點強化中高難度任務訓練,確保模型適應真實世界的復雜需求。
在預訓練階段,團隊創新設計三階段遞進策略:通用階段通過大規模文本與代碼學習構建世界知識基礎;推理階段大幅提升數學、STEM及代碼數據比重,并引入詳細思維鏈(CoT)引導模型學習邏輯路徑;退火階段則通過階梯式擴展上下文長度至128K,同步增加指令類數據與Agent交互數據,為模型使用外部工具奠定基礎。這種分階段強化核心能力的訓練方式,有效平衡了模型的知識廣度與推理深度。
針對大型語言模型普遍存在的幻覺問題,研究團隊開發出“批判內化”機制。該機制突破傳統批判微調依賴固定人類反饋的局限,在模型訓練后期引入自我批判信號,使其能夠根據任務準則主動審視推理過程。實驗數據顯示,這一創新使模型在邏輯鏈條完整性、指令遵從性及價值觀對齊方面顯著提升,輸出結果更加精煉可靠。
在工具使用能力提升方面,團隊推出ToolACE合成框架,通過領域工具組合、交互式軌跡生成等技術,生成高復雜度多輪工具調用數據。例如將日歷查詢與航班預訂工具關聯,提供依賴關系圖譜;采用“計劃-執行”分離策略模擬真實交互場景;引入多智能體對話生成復雜交互數據。多維校驗機制則對生成數據進行內容滿足度、狀態變化正確性等維度評估,形成數據迭代優化的閉環。
后訓練階段,團隊實施三步優化方案:漸進動態微調通過平滑過渡常規SFT與動態微調模式,避免過擬合風險;強化學習階段采用GSPO算法提升大型MoE模型訓練穩定性;模型融合環節運用黑盒優化技術,自動搜索不同版本模型的最佳組合權重。這種系統性優化策略,使最終模型在綜合性能上實現質的飛躍。
openPangu-718B的成功實踐表明,大模型競爭的核心已從數據規模轉向技術深度。通過構建質量優先的數據體系、設計分階段能力強化路徑、創新幻覺控制機制、開發高仿真工具學習框架,華為為行業提供了技術突破的新范式。這種對技術細節的極致打磨,正重新定義大模型時代的核心競爭力標準。
更多>同類資訊象嶼集團攜手釘釘,借AI之力開啟數智化新篇,3萬員工共赴轉型新程象嶼集團此次與釘釘合作,不僅是AI技術平臺的引入,更是雙方對未來發展方向的高度共識。 值得一提的是,象嶼集團此次全面引入釘釘One、DingTalk A1、AI聽記、AI搜問、AI表格等釘釘AI新品,聚焦用…09-29云天勵飛加入OISA生態,以“算力積木”助力國產AI算力突破MoE大模型瓶頸憑借在 AI 推理芯片與算力架構的長期積累,云天勵飛成為 OISA 生態的重要一員。 未來,云天勵飛將繼續秉持“AI時代的加速器”愿景,持續迭代芯片技術與架構創新,攜手 OISA 生態伙伴,共同推動智能算…09-29四川資源集團攜手華為 共繪智慧礦山藍圖 探索數智化賦能新路徑封面新聞記者 付文超9月29日,記者獲悉,四川省自然資源投資集團有限責任公司(以下簡稱“四川資源集團”)與華為技術有限公司(以下簡稱“華為”)簽署框架合作協議。 根據協議,雙方將在智慧礦山規劃和建設、人工智…09-29Flash Attention作者Tri Dao:英偉達GPU主導地位或三年內瓦解,AI硬件將迎多元生態他們設計了非常好的芯片,也有非常好的軟件支持,這讓我能夠做很多有意思的事情,而這正是我追求的:能不能做出有意思的東西。舉例我做的Mamba,思路是讓模型把歷史壓縮成更小的狀態向量,而不是保存完整的KV c…09-29?長智具身智能科技公司在海南成立 智元機器人長飛光纖等攜手布局?09-29AMD與NVIDIA下一代AI GPU競速:設計迭代升級,技術差距或縮小09-29中國算力生態競速:華為開源破局,產業鏈協同共筑全球競爭力09-29奧特曼攜OpenAI大舉布局AI投資,與英偉達等合作能否成就AI未來?09-29第22屆東博會AI元素爆棚:“黑科技”互動不斷,共繪中國—東盟新藍圖09-29科技浪潮下的人文溫度:莫言憶小學課堂“粉筆頭”里的鮮活記憶09-29俄羅斯數字服務員亮相高端餐廳:AI精準推薦,重塑餐飲服務新體驗09-29高德云棲大會亮劍:空間智能賦能千行百業,構建物理世界交互新生態09-29京東JDD大會發布AI全景圖,推三大新品四大應用,繪萬億AI生態藍圖該體系依托Joy AI大模型打造豐富的系統能力和多元化智能體,通過AI技術構建電商購物、供應鏈管理等智能應用場景,系統展現了AI技術在京東電商業務中的應用,描摹出京東零售面向未來的AI電商藍圖。同時,承載新一…09-29“人機共創”三重真相:AI為翼 人為舵 共拓創作新邊界09-29科普月里院士齊發力:以多樣形式播撒科學種子,點燃公眾科學夢09-29點擊查看更多 +全站最新
科大訊飛P30學習機:寶媽育兒好幫手,護眼又高效,孩子學習更輕松
王心凌傾情代言!馬自達EZ-60攜雙動力上市,11.99萬起開啟合資新體驗
深藍汽車X華為乾崑長沙試駕落幕:智能增程齊發力,親子互動共團圓
MAZDA EZ-60售價11.99萬元起,王心凌代言,智能配置拉滿開啟電動新篇
小米定制服務:以頂級工藝邂逅個性色彩,三年百色計劃解鎖專屬汽車美學
小米新品發布會全覽:一圖解鎖系列新品亮點與指南熱門內容
第22屆東博會AI元素亮眼:數字智能體引路 機器人炫技展風采
AI云競爭下半場:華為以超節點、企業Agent等破局,誰能領跑產業?
2025網安周:每日互動劉宇談AI時代,知識安全成關鍵,共筑數字新未來
中國大模型DeepSeek首登Nature封面,R1訓練成本僅約208萬引關注
華為全聯接大會2025啟幕,發布全球最強算力超節點與集群
有鹿機器人+連合直租:以智能租賃模式,開啟高端場景清潔新未來
本文鏈接:http://www.rrqrq.com/showinfo-45-28459-0.html華為盤古718B模型脫穎而出:數據質量與技術創新雙輪驅動
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com