文心一言排名墊底，卻成為百度業績增長杠桿
文/侯煜編輯/羅卿知識增強大預言模式文心一言發布后，百度公司熱度大幅提升，文心一言到底能為百度的業績帶來多大的增益成為業內關注焦點。近日，百度（NASDAQ：BIDU/09888.HK）公布了
4 月 14 日消息，從豆包大模型團隊獲悉，字節跳動最新思考模型 Seed-Thinking-v1.5 技術細節今日公開，該模型將于 4 月 17 日通過火山引擎開放接口供用戶體驗。
該模型在數學、編程、科學推理等專業領域及創意寫作等通用任務中表現突出，同時，模型采用 MoE 架構，總參數 200B，激活參數為 20B，具備顯著的推理成本優勢，單位推理成本相比 DeepSeek R1 降低 50%。
技術報告鏈接：https://github.com/ByteDance-Seed/Seed-Thinking-v1.5
模型各方面具體表現：專業領域：數學推理（AIME 2024 得分 86.7，追平 OpenAI o3-mini-high）、編程競賽（Codeforces pass@8 達 55.0%，接近 Gemini 2.5 Pro）、科學推理（GPQA 得分 77.3%，接近 o3-mini-high），均達到或接近業界第一梯隊水平。
通用任務：人類評估表現超 DeepSeek R1 8%，覆蓋多場景需求。
成本優勢：單位推理成本相比 DeepSeek R1 降低 50%，實現性能與效率的平衡。
針對推理與生成任務的不同需求，團隊優化了數據處理策略：
可驗證數據（如數學、代碼題）：通過百萬級數據三重清洗（人工篩選 → 模型過濾 → 多模型驗證），保留 10 萬道高難度題目；設計答案整數化改造、離線沙箱驗證等機制，確保模型輸出真實推理過程；
非可驗證數據（如創意寫作）：基于豆包 1.5 Pro 訓練集，剔除低價值樣本，采用兩兩對比獎勵法，優化生成質量；
全新評測基準：構建了超難數學數據集 BeyondAIME（100 道無答案題干題目），解決現有測試區分度不足問題。
獎勵模型：雙軌體系校準訓練方向團隊提出雙軌獎勵機制，兼顧“對錯分明”與“見仁見智”任務：
可驗證任務：開發了兩代驗證器（Seed-Verifier → Seed-Thinking-Verifier），從字符匹配升級為推理步驟逐行對比（訓練 / 測試集準確率超 99%），杜絕模型“獎勵欺騙”；
非可驗證任務：引入 pairwise 對比訓練，通過千萬次“AB 測試”，捕捉人類對創意、情感等的隱性偏好，避免“眾口難調”；
雙軌融合：針對混合場景設計協調機制，硬指標（對錯）與軟偏好（優劣）互補，支撐全場景訓練。
訓練方法：“監督精調 + 強化學習”雙階段優化Seed-Thinking-v1.5 采用“打基礎 + 磨能力”的全鏈路訓練：
監督精調（SFT）：基于 40 萬高質量實例（30 萬可驗證 +10 萬非可驗證數據），結合人工與模型協同篩選，構建長思考鏈數據集，確保模型“像人類一樣思考”；
強化學習（RL）：通過三重數據引擎（可驗證 / 通用 / 混合數據）、算法創新（價值預訓練、解耦 GAE 等）以及在線數據適配技術，解決訓練不穩定、長鏈推理斷層等問題，動態調整數據分布以保持最佳訓練狀態。
訓練框架：支撐 20B MoE 的底層架構為應對20BMoE（總參數 200B）的復雜訓練需求，團隊優化了底層架構：
HybridFlow 編程模型：支持算法快速探索與分布式并行運行；
流式推理系統（SRS）：通過“流式推理”技術解耦模型演進與異步推理，將訓練速度提升 3 倍，萬億參數下穩定性達 95%；
三層并行架構：結合張量 / 專家 / 序列并行，動態均衡負載，基于 KARP 算法優化 GPU 算力利用率。
本文鏈接：http://www.rrqrq.com/showinfo-45-12277-0.html字節跳動最新思考模型 Seed-Thinking-v1.5 技術細節公開，4 月 17 日開放接口
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：[email protected] 津ICP備18001702號
津公網安備 12010102000574號