《從營銷AIGC化到AIGC營銷化》報告發(fā)布
來源：清元宇宙7月2日上午，清華大學元宇宙文化實驗室舉辦元宇宙在線沙龍“AIGC熱潮與應(yīng)用”。會議中，清華大學新聞與傳播學院教授、元宇宙文化實驗室主任、新媒體研究
5 月 27 日消息，科技媒體 marktechpost 今天（5 月 27 日）發(fā)布博文，報道稱微軟研究院聯(lián)合清華大學、北京大學組建團隊，推出獎勵推理模型（Reward Reasoning Models，RRMs），通過顯式推理過程動態(tài)分配計算資源，提升復雜任務(wù)評估效果。
援引博文介紹，強化學習（Reinforcement Learning，RL）已成為大語言模型（LLM）后訓練的核心方法，通過人類反饋（RLHF）或可驗證獎勵（RLVR）提供監(jiān)督信號。
然而，RLVR 在數(shù)學推理中雖有潛力，卻因依賴可驗證答案的訓練查詢而受限，難以應(yīng)用于通用領(lǐng)域的大規(guī)模訓練。
此外，現(xiàn)有獎勵模型分為標量型和生成型兩大類，均無法有效擴展測試時的計算資源。當前方法對所有輸入統(tǒng)一分配計算資源，缺乏針對復雜查詢進行細致分析的能力，導致評估效果不佳。
為解決上述問題，微軟研究院、清華大學和北京大學的研究者聯(lián)手推出獎勵推理模型（RRMs）。RRMs 在給出最終獎勵前執(zhí)行顯式推理過程，能夠根據(jù)任務(wù)復雜性自適應(yīng)分配額外計算資源。
這種方法通過“思維鏈”（Chain-of-Thought）推理，針對獎勵不明顯的復雜查詢投入更多測試時計算資源。
RRMs 基于 Qwen2 模型，采用 Transformer-decoder 架構(gòu)，將獎勵建模轉(zhuǎn)化為文本補全任務(wù)，生成推理過程后給出最終判斷。
研究團隊利用 RewardBench 庫進行系統(tǒng)分析，評估指標包括指令遵循性、幫助性、準確性、無害性和細節(jié)水平。RRMs 還支持多響應(yīng)評估，通過 ELO 評分系統(tǒng)和淘汰賽機制，結(jié)合多數(shù)投票提升計算資源利用率。
測試結(jié)果顯示，RRMs 在 RewardBench 和 PandaLM Test 基準測試中表現(xiàn)突出。其中，RRM-32B 在推理類別中達到 98.6% 的準確率，與使用相同數(shù)據(jù)訓練的 DirectJudge 模型相比，RRMs 展現(xiàn)出顯著性能差距，證明其在復雜查詢中有效利用測試時計算資源。
在獎勵引導的最佳 N 推理（Best-of-N Inference）和后訓練反饋中，RRMs 超越所有基線模型，且進一步提升多數(shù)投票機制效率。
研究還表明，隨著模型規(guī)模從 7B、14B 到 32B 擴展，更長的推理時間始終帶來準確性提升。RRMs 通過并行和順序擴展方法高效利用計算資源，為傳統(tǒng)標量獎勵模型提供強大替代方案。
本文鏈接：http://www.rrqrq.com/showinfo-45-13260-0.html微軟攜手清華、北大推出獎勵推理模型：根據(jù) AI 任務(wù)復雜性動態(tài)分配計算資源
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：[email protected] 津ICP備18001702號
津公網(wǎng)安備 12010102000574號