一加Ace2 Pro官宣：普及16G內存 引領24G
一加官方今天繼續為本月發布的新機一加Ace2 Pro帶來預熱，公布了內存方面的信息?！疤蕴?8GB ，12GB 起步，16GB 普及，24GB 引領，還有呢？#一加Ace2Pro#，2023 年 8 月，敬請期待?！蓖瑫r
似乎自ChatGPT進入大眾視野起，需要依靠人工進行數據標注，就成為人們對大語言模型（LLM）根深蒂固的印象之一。
從兩個以上大模型針對同一個問題給出的不同回答里，找到當中的語病、邏輯和事實錯誤，標記不同的錯誤類型，再對這些回答按照質量分別進行打分等，這些都是大模型數據標注員要干的事情。
這個過程被叫做RLHF（Reinforcement Learning from Human Feedback），即基于人類反饋的強化學習。RLHF也是被ChatGPT、Bard和LLaMA等新興大模型帶火的模型訓練方法，它大的好處就在于能夠將模型和人類的偏好對齊，讓大模型給出更符合人類表達習慣的回答。
不過近發布在arXiv的一份論文表明，這份看起來只有人類能做的工作，也能被AI取代！
AI也取代了RLHF中的“H”，誕生了一種叫做“RLAIF”的訓練方法。
這份由谷歌研究團隊發布的論文顯示，RLAIF能夠在不依賴數據標注員的情況下，表現出能夠與RLHF相媲美的訓練結果——
如果拿傳統的監督微調（SFT）訓練方法作為基線比較，比起SFT，1200個真人“評委”對RLHF和RLAIF給出答案的滿意度都超過了70%（兩者差距只有2%）；另外，如果只比較RLHF和RLAIF給出的答案，真人評委們對兩者的滿意度也是對半分。
這里的“勝率”體現了文中的“滿意度”
需要說明的是，谷歌的這篇論文也是第一個證明了RLAIF在某些任務上能夠產生與RLHF相當的訓練效果的研究。
早提出讓AI反饋代替人類反饋用于強化學習訓練的研究，是來自2022年Bai et al. 發布的一篇論文。這篇論文也首次提出了RLAIF的概念，并發現了AI標注的“天賦”，不過研究者在當時還并沒有將人類反饋和AI反饋結果進行直接比較。
總之谷歌的這一研究成果一旦被更多人接受，將意味著不用人類指點，AI也能訓練自己的同類了。
下面可以來看看RLAIF具體是怎么做的。
我們知道，RLHF的方法大致可以分為三個步驟：預訓練一個監督微調LLM，收集數據訓練一個獎勵模型（RM），以及用強化學習（RL）方式微調模型。
從論文給出的圖示看，AI和人類標注員發揮作用的環節，主要是在訓練獎勵模型（RM）并生成反饋內容這里。你可以把“獎勵”理解為，讓人/AI來告訴模型哪種回答更好，答得更好就能有更多獎勵（所以也能理解人工標注存在的必要）。
接著研究人員主要就“根據一段文字生成摘要”這一任務，展示了RLAIF的標記方法。
下面的表格比較完整地展示了RLAIF方法的輸入結構：
首先是序言（Preamble），用來介紹和描述手頭任務的說明。比如描述說，好的摘要是一段較短的文字，具有原文的精髓…給定一段文本和兩個可能的摘要，輸出1或2來指示哪個摘要符合上述定義的連貫性、準確性、覆蓋范圍和整體質量。
其次是樣本示例（1-Shot Exemplar）。比如給到一段“我們曾是超過四年的好朋友……”的文本，接著給到兩個摘要，以及“摘要1更好”的偏好判斷，讓AI學著這個示例對接下來的樣本做標注。
再者就是給出所要標注的樣本（Sample to Annotate），包括一段文本和一對需要標記的摘要。
后是結尾，用于提示模型的結束字符串。
論文介紹到，為了讓RLAIF方法中AI標注更準確，研究者也加入了其他方法以獲取更好的回答。譬如為了避免隨機性問題，會進行多次選擇，其間還會對選項的順序進行交換；此外還用到了思維鏈（CoT）推理，來進一步提升與人類偏好的對齊程度。
從原始prompt到輸出的完整流程如下圖所示：
能看到，就像人類標注員會給不同的回答打分一樣（比如滿分5分），AI也會依據偏好給每個摘要打分，相加起來是1分。所以這個分數就可以理解為上文提到的獎勵。
以上就是RLAIF方法大致會經歷的過程。
而在評價RLAIF方法的訓練結果到底好不好時，研究人員使用了三個評估指標，分別是AI標簽對齊度（AI Labeler Alignment）、配對準確度（Pairwise Accuracy）和勝率（Win Rate）。
簡單理解三個指標，AI標簽對齊度指的就是AI偏好相對于人類偏好的精確程度，配對準確度指訓練好的獎勵模型與人類偏好數據集的匹配程度，勝率則是人類在RLAIF和RLHF生成結果之間的傾向性。
研究人員在依據評估指標進行了繁雜的計算之后，終得出了RLAIF和RLHF“打平手”的結論。
當然也有一些非量化的定性分析。譬如研究發現，RLAIF似乎比RLHF更不容易出現“幻覺”，下表所示幾個例子中標紅部分便是RLHF的幻覺，盡管看上去是合理的：
而在另一些例子里，RLAIF的語法表現似乎又比RLHF差不少（標紅為RLAIF的語法問題）：
盡管如此，RLAIF和RLHF整體來說生成高質量摘要的能力還是旗鼓相當的。
該論文的發布很快收獲了不少關注。比如有從業者評論道，等到GPT-5可能就不需要人類數據標注員了。
也有網友貼圖打趣，用AI來訓練同類的做法就好比是這張梗圖。
不過針對谷歌這篇論文中用到的研究方法，身為著名軟件工程師、AI專家的Evan Saravia也認為，研究人員只在論文中分析了RLAIF和RLHF在“生成摘要”這一任務上的表現，其他更加泛化的任務表現如何還有待觀察。
此外，研究人員也沒有將人工標注和使用AI成本的因素考慮在內。
其實以上網友預測未來的大模型將不再需要人類標注員，也側面體現出目前RLHF方法因為過于依賴人工而遇到的瓶頸：大規模高質量的人類標注數據可能會非常難以獲取——
大模型數據標注員往往是流動性非常高的工種，并且由于數據標注很多時候非常依賴標注員的主觀偏好，也就更加考驗標注員的自身素質。
短期內也許會像這位從業者說的，“我不會說這（RLAIF）降低了人工標注的重要性，但有一點可以肯定，人工智能反饋的RL可以降低成本。人工標注對于泛化仍然極其重要，而RLHF+RLAIF混合方法比任何單一方法都要好。”
本文鏈接：http://www.rrqrq.com/showinfo-17-9219-0.html數據標注員什么時候會被AI替代？谷歌：現在就行
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 網約車老師傅們的“反擊”
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號