32B 推理模型，僅用 1/8 數據，與同尺寸 DeepSeek-R1 打成平手。
就在剛剛，來自斯坦福、UC 伯克利、華盛頓大學等機構聯手發布了一款 SOTA 級推理模型 ——OpenThinker-32B，并同時開源了高達 114k 的訓練數據。
項目主頁：https://www.open-thoughts.ai/blog/scale
Hugging Face：https://huggingface.co/open-thoughts/OpenThinker-32B
數據集：https://huggingface.co/datasets/open-thoughts/OpenThoughts-114k
團隊發現：采用經 DeepSeek-R1 驗證標注（基于 R1 蒸餾）的大規模優質數據集，便可訓練出 SOTA 的推理模型。
具體方法，就是通過數據規模化、推理過程驗證以及模型規模擴展。
由此得到的 OpenThinker-32B，在數學、代碼和科學等多個基準測試中，OpenThinker-32B 性能直接碾壓了李飛飛團隊 s1 和 s1.1 模型，直逼 R1-Distill-32B。
值得一提的是，相比于使用了 800k 數據（包含 600k 個推理樣本）的 R1-Distill，OpenThinker-32B 僅用了 114k 數據，就能拿下幾乎同等的優異成績。
除此之外，OpenThinker-32 還把模型權重、數據集、數據生成代碼、訓練代碼上，全部都給公開了！
研究人員使用了與之前訓練 OpenThinker-7B 模型相同的 OpenThoughts-114k 數據集來訓練 OpenThinker-32B。
他們利用 DeepSeek-R1 模型，收集了精心挑選的 17.3 萬個問題的推理過程和解答嘗試。然后將這些原始數據作為 OpenThoughts-Unverfied-173k 數據集公開發布。
整個流程的最后一步是，如果推理過程未能通過驗證，就過濾掉相應的數據樣本。
下圖可視化地展示了整個過程。
研究團隊首先輸入源數據或問題提示，這些內容可以來自不同的領域和平臺，如 BAAI / TACO、DeepMind、Python 提交等，涉及代碼、謎題、科學和數學等多個方面。
接著這些多元的輸入會進入核心的處理模塊 ——DeepSeek-R1，在這里對數據進行分析與處理。這些問題會被分成三個方面，分別是：科學類問題、數學與謎題和代碼。
有些結果不需要驗證，可能是簡單的分析或直接輸出。對于一些需要深入驗證的內容，利用大語言模型（LLM）采用與 GT（Ground Truth）對比的方式進行評判。如果是代碼，執行代碼并進行單元測試，確保代碼的正確性和有效性。
最后能將不同方向的結果結合起來，生成開放的思考和更為綜合的解決方案。
研究團隊更新了最終的 OpenThoughts-114k 數據集，加入了一個名為「metadata」的配置，其中包含了一些用于數據集構建的額外列：
problem
ground_truth_solution
test_cases (code only)
starter_code (code only)
DeepSeek_reasoning
DeepSeek_solution
domain
source
這些額外的元數據將使得這個數據集更容易用于新的場景，例如數據過濾、領域切換、驗證檢查以及更改推理過程的模板。
這些額外的元數據將得使該數據集使用起來更加容易，僅需一行代碼就能完成例如過濾、更換領域、檢查驗證和更改推理跟蹤模板等。
load_dataset("open-thoughts/OpenThoughts-114k","metadata",split="train")研究團隊表示，他們期待看到社區利用這些問題和標準答案，在 OpenThinker 模型上進行強化學習（RL）的研究。DeepScaleR 已經證明，規模較小時，這種方法效果特別好。
驗證為了得到最終的 OpenThoughts-114k 數據集，研究團隊對答案進行了驗證，并剔除了不正確的回答。
如下表所示，保留那些未通過驗證的推理過程可能會損害性能，盡管未經驗證的模型與其他 32B 推理模型相比仍然表現良好。
驗證的作用在于，在擴大訓練提示集的多樣性和規模的同時，保持 R1 注釋的質量。另一方面，未經驗證的數據可以更容易地擴展，因此也值得進一步探索。
對于代碼問題，他們通過對照已有的測試用例來驗證解答嘗試，從而完成推理過程的驗證。
受到代碼執行過程中所面臨挑戰的啟發，他們在 Curator 中實現了一個代碼執行框架，使用戶能夠大規模、安全地執行代碼，并對照預期輸出進行驗證。
對于數學問題，研究團隊使用一個 LLM（大語言模型）評判器來進行驗證，它會同時接收標準答案和 DeepSeek-R1 的解答嘗試。
結果發現，在數據生成過程中，使用 LLM 評判器而不是更嚴格的解析引擎（Math-Verify）進行驗證，可以獲得更高的有效數據率，并能訓練出性能更好的下游模型。
研究團隊使用 LLaMa-Factory 對 Qwen2.5-32B-Instruct 在 OpenThoughts-114k 數據集上進行了三輪微調，上下文長度為 16k。完整訓練配置可在 GitHub 中找到。
OpenThinker-32B 在 AWS SageMaker 集群上使用四個 8xH100 P5 節點訓練了 90 小時，累計使用了 2,880 個 H100 小時。
同時，OpenThinker-32B-Unverified 在 Leonardo 超級計算機上使用 96 個 4xA100 節點（每個 GPU64GB）訓練了 30 小時，累計使用了 11,520 個 A100 小時。
評估研究團隊使用開源評估庫 Evalchemy（煉金術）對所有模型進行評估。
對于 AIME24 和 AIME25，他們通過平均五次運行的結果來計算準確率。評估配置使用 0.7 的溫度參數，將模型響應限制在 32,768 個 token 以內，不添加任何額外的系統或用戶提示詞，也不使用任何特殊的解碼策略（如預算強制）。
當啟動 OpenThoughts 項目時，他們設定了一個目標，即創建一個性能可以達到 DeepSeek-R1-Distill-Qwen-32B 的開放數據模型。
現在這個差距已經幾乎消除。
最后，研究團隊為社區在過去幾周在構建開放數據推理模型方面取得的快速進展感到振奮，并期待基于彼此的洞見繼續向前發展。
OpenThinker-32B 的開源，證明了數據、驗證和模型規模的協同作用是提升推理能力的關鍵。
這一成果不僅推動了開源推理模型的發展，也為整個 AI 社區提供了寶貴的資源和啟示。
本文來自微信公眾號：新智元（ID：AI_era），原標題《直逼 DeepSeek-R1-32B，碾壓李飛飛 s1！UC 伯克利等開源全新 SOTA 推理模型》
本文鏈接：http://www.rrqrq.com/showinfo-45-10780-0.html直逼 DeepSeek-R1-32B，UC 伯克利等開源全新 SOTA 推理模型 OpenThinker-32B
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：[email protected] 津ICP備18001702號
津公網安備 12010102000574號
