新周期，誰在堅守窄門？
來源：錦緞今日的投資者恐怕已經(jīng)忘記了，在OpenAI創(chuàng)造出ChatGPT這一殺器的前夜，生成式AI也曾經(jīng)是一道窄門，窄到連馬斯克都差點失去了信心。在當(dāng)時的輿論眼中，AGI的道路不夠性感，不夠
8 月 26 日消息，科技媒體 9to5Mac 昨日（8 月 25 日）發(fā)布博文，報道稱蘋果研究人員在最新論文中提出“基于清單反饋的強化學(xué)習(xí)”（RLCF）方法，用任務(wù)清單替代傳統(tǒng)人類點贊 / 點踩評分，顯著提升大語言模型（LLMs）執(zhí)行復(fù)雜指令能力。
注：RLCF 的全稱為 Reinforcement Learning from Checklist Feedback，不同于傳統(tǒng)的“人類反饋強化學(xué)習(xí)”（RLHF）依賴人工點贊 / 點踩，RLCF 為每條用戶指令生成具體的檢查清單，并按 0-100 分逐項評分，用以指導(dǎo)模型優(yōu)化。
研究團隊在強指令跟隨模型 Qwen2.5-7B-Instruct 上測試該方法，涵蓋五個常用評測基準(zhǔn)。結(jié)果顯示，RLCF 是唯一在全部測試中均取得提升的方案：
FollowBench 硬性滿意率提升 4 個百分點
InFoBench 提高 6 點
Arena-Hard 勝率增加 3 點
某些任務(wù)最高提升達 8.2%。
這表明清單反饋在復(fù)雜、多步驟需求的執(zhí)行中效果顯著。
清單的生成過程也頗具特色。團隊利用更大規(guī)模的 Qwen2.5-72B-Instruct 模型，結(jié)合既有研究方法，為 13 萬條指令生成了“WildChecklists”數(shù)據(jù)集。清單內(nèi)容為明確的二元判斷項，例如“是否翻譯成西班牙語？”。隨后，大模型對候選回答逐項打分，綜合加權(quán)后作為小模型的訓(xùn)練獎勵信號。
蘋果研究者也坦言該方法存在局限。首先，它依賴更強模型作為評判者，這在資源受限場景下未必可行。其次，RLCF 專注于提升復(fù)雜指令執(zhí)行能力，并非設(shè)計用于安全對齊，因此不能替代安全性評估與調(diào)優(yōu)。對于其他任務(wù)類型，該方法的適用性仍需進一步驗證。
本文鏈接：http://www.rrqrq.com/showinfo-45-27026-0.html蘋果創(chuàng)新“清單法”：用 AI 大模型當(dāng)“老師”，教小模型更精準(zhǔn)執(zhí)行復(fù)雜指令
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號