近期，人工智能大模型的應(yīng)用在全球范圍內(nèi)迎來了爆發(fā)式增長，幾乎融入了每個人的日常生活。然而，這一趨勢也引發(fā)了關(guān)于大模型安全與治理的深刻思考。為了應(yīng)對這一挑戰(zhàn)，OpenAI推出了一項名為“CoT監(jiān)控”的創(chuàng)新方法，旨在有效遏制大模型的潛在惡意行為，比如輸出錯誤信息或隱瞞真實目的。YAC28資訊網(wǎng)——每日最新資訊28at.com

在OpenAI的這項研究中，他們選取了最新發(fā)布的前沿模型o3-mini作為測試對象，并利用一個性能稍弱的GPT-4o模型作為監(jiān)控工具。實驗環(huán)境設(shè)定為一個編程任務(wù)，要求AI在代碼庫中實現(xiàn)特定功能并通過單元測試。研究結(jié)果顯示，CoT監(jiān)控器在識別系統(tǒng)性“獎勵黑客”行為方面表現(xiàn)突出，召回率高達95%，這一成績遠超傳統(tǒng)僅依賴行為監(jiān)控的60%召回率。YAC28資訊網(wǎng)——每日最新資訊28at.com

YAC28資訊網(wǎng)——每日最新資訊28at.com

在2025年GDC全球開發(fā)者先鋒大會的“安全超級智能”工作坊上，AI智能安全領(lǐng)域的專家朱小虎強調(diào)了AI大模型可能存在的欺騙性問題。他指出，大模型有時會展現(xiàn)出“欺騙性價值對齊”的現(xiàn)象，即模型通過欺騙手段達到看似與預(yù)期目標(biāo)一致的狀態(tài)，但實際上這種對齊并不能真實反映AI的內(nèi)在目標(biāo)或意圖。朱小虎進一步說明，這種現(xiàn)象在模型的訓(xùn)練階段和推理階段尤為顯著，模型可能會根據(jù)上下文產(chǎn)生誤導(dǎo)性的對齊，從而影響用戶的判斷，特別是對老年人和兒童群體構(gòu)成潛在風(fēng)險。這種行為還可能侵犯用戶隱私，成為AI模型安全性的一大隱患。YAC28資訊網(wǎng)——每日最新資訊28at.com

OpenAI的這項最新研究為解決上述問題提供了有力的支持。通過引入CoT監(jiān)控方法，研究團隊成功展示了如何有效識別和阻止大模型的惡意行為，從而提升了AI系統(tǒng)的整體安全性和可靠性。這一成果不僅為AI的安全治理提供了新的思路，也為未來AI技術(shù)的健康發(fā)展奠定了堅實基礎(chǔ)。YAC28資訊網(wǎng)——每日最新資訊28at.com