9 月 5 日消息，當(dāng)?shù)貢r間 9 月 4 日，據(jù)《福布斯》報道，牛津大學(xué)的伊利亞?舒梅洛夫博士和他的團(tuán)隊發(fā)現(xiàn)，當(dāng)生成式 AI 軟件僅依賴于由 AI 生成的內(nèi)容時，回答的質(zhì)量開始惡化。這項研究已經(jīng)發(fā)表在《自然》雜志上。y1N28資訊網(wǎng)——每日最新資訊28at.com

y1N28資訊網(wǎng)——每日最新資訊28at.com

在最初的兩次查詢后，答案逐漸偏離準(zhǔn)確性，到第五次時，質(zhì)量顯著下降，到了第九次連續(xù)查詢時，回答已完全退化為無意義的胡言亂語。研究人員將這種生成式 AI 內(nèi)容的循環(huán)過度使用稱為“模型崩潰”，即 AI 在不斷污染自己的訓(xùn)練集后，輸出的內(nèi)容逐漸偏離現(xiàn)實(shí)，最終變得毫無價值。y1N28資訊網(wǎng)——每日最新資訊28at.com

舒梅洛夫表示：“令人驚訝的是，模型崩潰發(fā)生得如此迅速且難以察覺。最初，它會影響到少數(shù)數(shù)據(jù) —— 那些代表性不足的數(shù)據(jù)。接著，它會影響輸出的多樣性，導(dǎo)致差異性減少。有時，你會觀察到對多數(shù)數(shù)據(jù)的微小改進(jìn)，但這種改進(jìn)掩蓋了少數(shù)數(shù)據(jù)表現(xiàn)的惡化。模型崩潰可能帶來嚴(yán)重后果。”y1N28資訊網(wǎng)——每日最新資訊28at.com

研究人員通過一種方法確定了“模型崩潰”現(xiàn)象的存在：使用一個預(yù)訓(xùn)練的 AI 驅(qū)動的維基百科，然后讓 AI 模型基于自己生成的內(nèi)容進(jìn)行更新。受污染數(shù)據(jù)的影響逐漸導(dǎo)致原本的訓(xùn)練集被侵蝕，輸出的信息也隨之變得難以理解。例如，在第九次查詢循環(huán)后，研究中的維基百科條目從關(guān)于 14 世紀(jì)英國教堂尖頂?shù)膬?nèi)容滑稽地變成了一篇關(guān)于各種顏色的短尾兔子的論文。y1N28資訊網(wǎng)——每日最新資訊28at.com

報道稱，根據(jù)亞馬遜網(wǎng)絡(luò)服務(wù)（Amazon Web Services）團(tuán)隊在 6 月發(fā)布的另一項研究，大約 57% 的網(wǎng)絡(luò)文本都經(jīng)過了 AI 算法的翻譯。如果互聯(lián)網(wǎng)上的人類生成數(shù)據(jù)迅速被 AI 過濾內(nèi)容覆蓋，且舒梅洛夫的研究發(fā)現(xiàn)屬實(shí)，那么 AI 可能正在“自我毀滅”—— 并同時“毀滅”互聯(lián)網(wǎng)。y1N28資訊網(wǎng)——每日最新資訊28at.com

研究得出結(jié)論，要實(shí)現(xiàn) AI 的長期可持續(xù)發(fā)展，唯一方法是確保其能夠訪問現(xiàn)有的非 AI 生成內(nèi)容，并持續(xù)引入新的人工生成內(nèi)容。y1N28資訊網(wǎng)——每日最新資訊28at.com

附研究鏈接：y1N28資訊網(wǎng)——每日最新資訊28at.com

AI models collapse when trained on recursively generated datay1N28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.rrqrq.com/showinfo-45-6808-0.html研究：反復(fù)使用 AI 生成的內(nèi)容來訓(xùn)練 AI 可造成“模型崩潰”

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：[email protected]

上一篇： 騰訊再獲高盛力挺：中國互聯(lián)網(wǎng)增長新引擎，你怎能錯過？

下一篇： Claude 企業(yè)計劃上線：上下文窗口 50 萬詞元、原生集成 GitHub，強(qiáng)調(diào)不拿數(shù)據(jù)訓(xùn)練 AI