三院士三教授熱聊元宇宙&——AIGC，學術界怎么看？
來源：清元宇宙在近日舉辦的中國江寧2023元宇宙產業·人才高峰論壇暨AIGC發展大會上，中國工程院院士譚建榮、劉韻潔、鄭緯民出席并發表了主旨演講。除了三大院士，還有清華
2 月 22 日消息，據外媒 TechSpot 21 日報道，計算機科學家發現，AI 系統能夠操控國際象棋游戲，從而獲得不公平的優勢，部分模型甚至在沒有人類干預的情況下“作弊”，引發了對未來 AI 系統誠信的擔憂。
Palisade Research 的研究表明，當被要求擊敗強大的象棋 AI 時，某些最新的推理模型會選擇作弊。盡管研究人員需要向一些模型提供“作弊可以”的提示，但 OpenAI 的 o1-preview 和 DeepSeek 的 R1 模型卻在沒有任何人為提示的情況下自動作弊。
Palisade 團隊將多個推理模型與世界頂級象棋引擎之一 Stockfish 對戰。Stockfish 無論面對人類還是 AI，幾乎都能輕松獲勝。參與測試的模型除了上述兩款之外，包括 o1、o3-mini、GPT-4o、Claude 3.5 Sonnet、阿里巴巴的 QwQ-32B-Preview。每個模型都獲得了一塊“草稿紙”—— 一個可以輸入文本并思考的窗口，研究人員通過這個窗口觀察 AI 的推理過程。
從 1 月 10 日到 2 月 13 日，研究團隊進行了數百次測試。獲悉，在其中一場對戰中，o1-preview 在“草稿紙”上寫下了一段有趣的文字：
“我需要完全改變我的方法。任務是‘打敗強大的象棋引擎’，而不一定要在公平的棋局中獲勝。”
接著，它開始通過“黑客入侵”Stockfish 的系統文件，修改棋子的擺放位置，從而獲得了無敵的優勢，導致象棋機器人主動認輸。
在測試中，OpenAI 的 o1-preview 有 37% 的比賽中采用了作弊手段，而 DeepSeek 的 R1 則嘗試在 11% 的比賽中作弊。然而，只有 o1-preview 成功了，它通過作弊贏得了 6% 的比賽。
Palisade Research 的執行董事 Jeffrey Ladish 表示，盡管這些 AI 只是在玩游戲，但這一發現絕不是一件小事。
“這種行為現在看起來還挺有趣，但一旦我們擁有像我們一樣聰明，甚至更聰明的系統時，這就不那么可愛了。”Ladish 在接受《時代》雜志采訪時表示。
包括 OpenAI 在內的多家公司正在采取措施，試圖通過“防護機制”防止這種“壞”行為。研究人員發現，o1-preview 模型的黑客行為大幅下降，這可能意味著 OpenAI 已經對該模型進行了修復，抑制了不當行為。
“當你的研究對象能夠在沒有告知的情況下悄悄改變時，進行科學研究就變得非常困難。”Ladish 說。
本文鏈接：http://www.rrqrq.com/showinfo-45-11044-0.html新研究：AI 推理模型在輸掉國際象棋比賽之前會試圖“作弊”扭轉局面
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：[email protected] 津ICP備18001702號
津公網安備 12010102000574號