人間誠實周鴻祎：360 All in 大模型的六個解讀
主筆 / 村口有牛文章架構師 / 毛自聰出品 / 巨頭財經5月至今，人間躁動，各路大模型你方唱罷我登場，VC圈互聯網圈媒體圈已近癲狂。誰也沒想到，今日，360再度刷屏，老牌互聯網巨頭展現
9 月 29 日消息，一項新研究發現，隨著大型語言模型（LLM）變得越來越強大，它們似乎也越來越容易編造事實，而不是避免或拒絕回答它們無法回答的問題。這表明，這些更聰明的 AI 聊天機器人實際上變得不太可靠。
注意到，該研究發表在《自然》雜志上，研究人員研究了一些業界領先的商業 LLM：OpenAI 的 GPT 和 Meta 的 LLaMA，以及由研究小組 BigScience 創建的開源模型 BLOOM。
研究發現，雖然這些 LLM 的回答在許多情況下變得更加準確，但總體上可靠性更差，給出錯誤答案的比例比舊模型更高。
瓦倫西亞人工智能研究所在西班牙的研究員 José Hernández-Orallo 對《自然》雜志表示：“如今，它們幾乎可以回答一切。這意味著更多正確的答案，但也意味著更多錯誤的答案。”
格拉斯哥大學的科學和技術哲學家 Mike Hicks 對此進行了更嚴厲的評價，Hicks（未參與該研究）告訴《自然》雜志：“在我看來，這就像我們所說的胡說八道，它越來越擅長假裝知識淵博。”
測試中，這些模型被問及了從數學到地理等各種主題，并被要求執行諸如按指定順序列出信息等任務。總體而言，更大、更強大的模型給出了最準確的答案，但在更難的問題上表現不佳，其準確率較低。
研究人員稱，一些最大的“撒謊者”是 OpenAI 的 GPT-4 和 o1，但所有被研究的 LLM 似乎都呈這種趨勢，對于 LLaMA 系列模型，沒有一個能夠達到 60% 的準確率，即使是最簡單的問題。
而當被要求判斷聊天機器人的回答是準確還是不準確時，一小部分參與者有 10% 到 40% 的概率判斷錯誤。
總之研究表明，AI 模型越大（就參數、訓練數據和其他因素而言），它們給出錯誤答案的比例就越高。
研究人員稱，解決這些問題最簡單的方法是讓 LLM 不那么急于回答一切。Hernández-Orallo 稱：“可以設置一個閾值，當問題具有挑戰性時，讓聊天機器人說‘不，我不知道’。”但如果聊天機器人被限制為只回答它們知道的東西，可能會暴露技術的局限性。
本文鏈接：http://www.rrqrq.com/showinfo-45-8015-0.html研究發現：AI 越聰明就越有可能“胡編亂造”
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：[email protected] 津ICP備18001702號
津公網安備 12010102000574號