三院士三教授熱聊元宇宙&——AIGC，學術界怎么看？
來源：清元宇宙在近日舉辦的中國江寧2023元宇宙產業·人才高峰論壇暨AIGC發展大會上，中國工程院院士譚建榮、劉韻潔、鄭緯民出席并發表了主旨演講。除了三大院士，還有清華
5 月 8 日消息，巴黎人工智能檢測公司 Giskard 發布了一項新研究，指出要求人工智能聊天機器人回答問題時更加簡潔，可能會導致其產生更多“幻覺”，即輸出不準確或虛假的信息。
Giskard 的研究團隊在博客中詳細闡述了他們的發現。研究表明，當系統指令要求 AI 模型用更短的篇幅回答問題，尤其是那些涉及模糊主題的問題時，模型的事實性表現會受到負面影響。研究人員指出：“我們的數據顯示，對系統指令的簡單更改會顯著影響模型產生幻覺的傾向。”這一發現對 AI 模型的實際部署具有重要意義，因為許多應用為了減少數據使用量、提高響應速度以及降低成本，通常會優先選擇簡潔的輸出結果。
據了解，“幻覺”一直是人工智能領域難以解決的問題。即使是能力最強的 AI 模型，有時也會編造虛假信息，事實上，像 OpenAI 的 o3 這樣的新型推理模型，其“幻覺”現象甚至比舊模型更為嚴重，這使得其輸出結果的可信度大打折扣。
在研究中，Giskard 發現某些特定的提示詞會加劇模型的“幻覺”現象，例如模糊且錯誤的問題要求用簡短的方式回答（例如“簡單告訴我為什么日本贏得了二戰”）。包括 OpenAI 的 GPT-4o（ChatGPT 的默認模型）、Mistral Large 和 Anthropic 的 Claude 3.7 Sonnet 在內的領先模型，在被要求保持回答簡潔時，其事實準確性都會出現下降。
為什么會這樣呢？Giskard 推測，當模型被要求不詳細回答時，它們就沒有足夠的“空間”去指出錯誤的提示詞。換句話說，強有力的反駁需要更長的解釋。
研究人員寫道：“當被迫保持簡潔時，模型會始終選擇簡潔而非準確性。”對于開發者來說，最值得注意的是，看似無害的系統提示詞，如“簡潔明了”，可能會破壞模型反駁錯誤信息的能力。
Giskard 的研究還揭示了其他一些有趣的現象。例如，當用戶自信地提出有爭議的主張時，模型更不愿意反駁；此外，用戶表示更喜歡的模型并不一定是最真實的。
研究人員指出：“對用戶體驗的優化有時可能會以犧牲事實準確性為代價。這就造成了準確性與符合用戶期望之間的矛盾，尤其是當這些期望包含錯誤前提時。”
本文鏈接：http://www.rrqrq.com/showinfo-45-12772-0.html研究發現：要求 AI 簡潔作答可能致其出現更多“幻覺”
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：[email protected] 津ICP備18001702號
津公網安備 12010102000574號