數(shù)字人的新革命，BAT的“沖高”戰(zhàn)場
來源：劉曠ChatGPT橫空出世，讓人們看到了數(shù)字人的另一種可能，將ChatGPT與虛擬數(shù)字人融合，研發(fā)出更加智能化、擬人化的虛擬數(shù)字人成為數(shù)字人廠商的新命題、新方向。2月份，嶺南股份
5 月 30 日消息，科技媒體 marktechpost 昨日（5 月 29 日）發(fā)布博文，報道稱蘋果公司攜手杜克大學，提出交錯推理（Interleaved Reasoning）的全新強化學習（Reinforcement learning，RL）方法，進一步提升大語言模型的推理能力。
主流大語言模型在處理多步復雜問題時，常采用“先思考后回答”的長鏈式推理方式。然而，這種方法存在兩大痛點：一是響應時間過長，難以滿足實時交互需求；二是早期推理步驟出錯可能導致最終答案偏差。
研究人員指出，與人類在對話中隨時分享部分想法不同，模型往往等到推理全部完成才輸出結(jié)果，導致效率不高。
蘋果公司攜手杜克大學，研發(fā)了交錯推理技術，讓模型在推理過程中交替進行內(nèi)部思考和輸出中間答案（sub-answer），從而提升速度與實用性。
交錯推理基于強化學習（RL）框架，采用特殊的訓練模板，包含 <think> 和 < answer > 標簽，確保模型在達到關鍵推理節(jié)點時輸出中間結(jié)果。
研究團隊設計了基于規(guī)則的獎勵機制，包括格式、最終準確率和條件性中間準確率，確保模型注重整體正確性。
測試中，交錯推理在 Qwen2.5 模型（1.5B 和 7B 參數(shù)）上表現(xiàn)優(yōu)異，響應速度提升超 80%，準確率提高高達 19.3%。
此外，該方法僅在問答（QA）和邏輯數(shù)據(jù)集上訓練，卻能在 MATH、GPQA、MMLU 等更具挑戰(zhàn)性的基準測試中展現(xiàn)強大泛化能力。
研究還嘗試了多種獎勵策略，如全或無、部分積分和時間折扣獎勵，其中條件性和時間折扣獎勵效果最佳，顯著優(yōu)于傳統(tǒng)方法。
附上參考地址
Interleaved Reasoning for Large Language Models via Reinforcement Learning
本文鏈接：http://www.rrqrq.com/showinfo-45-13293-0.html蘋果聯(lián)合推出 AI 交錯推理方法，Qwen2.5 模型響應速度快 80%、準確率提高 19.3%
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：[email protected] 津ICP備18001702號
津公網(wǎng)安備 12010102000574號