AI網(wǎng)紅能年賺百萬，普通人的新機會來了？
來源｜運營研究社作者 | 張知白編輯 | 楊佩汶設(shè)計 | 晏談夢潔2023 年 ，數(shù)字人成為了當紅的“流量話題”和“商業(yè)機會"。不管是 AI 孫燕姿走紅網(wǎng)絡，還是 AI 數(shù)字
批評不僅能讓人進步，也能讓大模型的能力提升。
OpenAI 就用這個思路造了個“找茬模型”CriticGPT。非常巧合的是，就在 CriticGPT 放出的前幾天，北大聯(lián)合千問等團隊以類似的思路設(shè)計出了“數(shù)學專用版”CriticGPT。
在無需訓練的設(shè)置下，驗證器能夠在推理時輔助模型在 GSM8K 上的準確率從 86.6% 提升到 88.2%。
在 GSM8K 數(shù)據(jù)集上，它可以讓模型的準確率從 86.6% 提升到 88.2%。
CriticGPT 的核心思路是在代碼中故意設(shè)置 bug 并進行詳細標注，然后用得到的數(shù)據(jù)訓練出會 debug 的模型。
北大團隊發(fā)現(xiàn)，這種方法不僅在代碼當中有用，也能幫助語言模型解決數(shù)學問題。
于是團隊利用相似的思路，把代碼換成數(shù)學問題，推出了“數(shù)學版 CriticGPT”——Math-Minos。
用 GPT4 逐步提出修正意見在數(shù)學推理領(lǐng)域，驗證解決方案的正確性，是確保推理質(zhì)量的關(guān)鍵步驟。
然而，現(xiàn)有的數(shù)學驗證器大多依賴于二元分類標簽進行訓練，這種方式在提供正確或錯誤原因的解釋上存在明顯不足，無法給驗證器提供足夠充分的監(jiān)督信號來訓練。
Math-Minos 則克服了這一局限，提供了更深入的解釋，極大地豐富了驗證器的訓練信息。
它引入了逐步的自然語言反饋作為理由標簽，不僅指出了解決方案的正誤，還能逐步分析出錯誤的原因。
在自然語言反饋的獲取上，研究團隊一開始使用 GPT-4 生成訓練數(shù)據(jù)，但通過實驗發(fā)現(xiàn)，即使是 GPT-4，在逐步評價數(shù)學推理任務時也會出現(xiàn)一定比例的錯誤。
為了一定程度避免這個問題，研究人員通過在提示中引入步驟級別的二元分類標簽，簡化了 GPT-4 的任務，使得 GPT-4 能夠更準確地生成評估。
首先，通過監(jiān)督式微調(diào)，使用自然語言反饋作為訓練數(shù)據(jù)，有效提升了模型的評估能力。
其次，通過標準的 ORM（Outcome Reward Model，輸出獎勵模型）和 PRM（Process Reward Model，過程獎勵模型）訓練，實現(xiàn)了高效的推理，這種做法有兩個好處。
一是通過兩階段訓練，可以將二分類數(shù)據(jù)和監(jiān)督微調(diào)數(shù)據(jù)解耦。
由于監(jiān)督信號的稀疏性，訓練二分類的數(shù)據(jù)往往遠多于監(jiān)督微調(diào)的數(shù)據(jù)，而研究發(fā)現(xiàn)，僅需要少量的監(jiān)督微調(diào)數(shù)據(jù)，就可以很大程度提升模型的評估能力。
另一方面，在驗證器進行驗證時，不需要顯示地生成自然語言反饋，讓推理過程更高效。
總得來看，研究人員在訓練階段添加了 30K 的自然語言反饋數(shù)據(jù)，為 Mistral-7B 驗證器帶來了數(shù)學能力的提升，在 Best-of-256 的實驗設(shè)置下：
在 ORM 的設(shè)置下，MATH-Minos 將 Mistral-7B 的準確率在 GSM8K 數(shù)據(jù)集從 86.2% 提升到 87.3%，在 MATH 數(shù)據(jù)集從 35.9% 提升到 37.4%。
在 PRM 的設(shè)置下，MATH-Minos 將 Mistral-7B 的準確率在 GSM8K 數(shù)據(jù)集從 87.1% 提升到 87.6%，在 MATH 數(shù)據(jù)集從 36.7% 提升到 37.8%。
在與 Self-Consistency 結(jié)合的設(shè)置下，MATH-Minos 將 Mistral-7B 的準確率在 GSM8K 數(shù)據(jù)集從 87.1% 提升到 88.2%，在 MATH 數(shù)據(jù)集從 37.8% 提升到 38.6%。
在 ORM 和 PRM 任務設(shè)置中，Math-Minos 均展現(xiàn)出了優(yōu)越的性能，特別是在 ORM 設(shè)置中，其改進更為顯著。
另外，研究團隊還對生成器在步驟級別產(chǎn)生的錯誤進行了深入分析，將其歸類為五種類型 —— 無關(guān)錯誤、累積錯誤、計算錯誤、邏輯錯誤和其他錯誤。
分析結(jié)果表明，在多步驟推理中，步驟錯誤的可能原因有很多種，而且模型在這些錯誤類型中都有可能出錯，這進一步強調(diào)了引入自然語言反饋來指導模型學習的重要性。
實驗發(fā)現(xiàn)，在兩個數(shù)據(jù)集上，累積錯誤（即一個步驟的錯誤很可能直接導致所有后續(xù)步驟的錯誤）在所有錯誤類型中占到的比例最高。
不同數(shù)據(jù)集上的錯誤分布也有不同的特點，在相對簡單的 GSM8K 上，計算錯誤更多；在更困難的 MATH 數(shù)據(jù)集上，邏輯錯誤更多。
通過構(gòu)建元評估集，研究團隊評估了驗證器在沒有生成器影響下，準確判斷最終答案的能力。
結(jié)果顯示，Math-Minos 在訓練過程中的元評估一致優(yōu)于傳統(tǒng)的 ORM，并且展現(xiàn)出更快的收斂速度和更精準的判斷能力。
同時實驗結(jié)果也表明，Math-Minos 具有很強的 Scale Up 的潛力。
總之，Math-Minos 的開發(fā)不僅提升了數(shù)學驗證器的性能，更為自然語言處理領(lǐng)域提供了一種新的訓練范式。
研究團隊希望這項工作能夠啟發(fā)未來研究，探索自然語言反饋與分類式驗證器的潛在整合，推動大型語言模型在復雜推理任務上的能力。
論文地址：
https://arxiv.org/abs/2406.14024
GitHub：
https://github.com/KbsdJames/MATH-Minos
本文來自微信公眾號：量子位（ID：QbitAI），作者：關(guān)注前沿科技
本文鏈接：http://www.rrqrq.com/showinfo-45-5086-0.html北大千問團隊推出數(shù)學專用版 CriticGPT，“找茬”讓大模型進步更快
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：[email protected] 津ICP備18001702號
津公網(wǎng)安備 12010102000574號