新周期，誰在堅守窄門？
來源：錦緞今日的投資者恐怕已經忘記了，在OpenAI創造出ChatGPT這一殺器的前夜，生成式AI也曾經是一道窄門，窄到連馬斯克都差點失去了信心。在當時的輿論眼中，AGI的道路不夠性感，不夠
蘋果機器學習研究中心近日發布了一篇引人深思的研究論文，對當前人工智能（AI）模型的思維能力與推理能力提出了質疑。論文指出，現有的AI模型，盡管在某些任務上表現出色，但實際上主要依賴模式匹配與記憶，特別是在面對復雜任務時，這一局限性尤為明顯。
為了深入探討這一問題，蘋果的研究人員對當前前沿的“大型推理模型”進行了全面評估，這些模型包括OpenAI的o3-mini、DeepSeek-R1、Anthropic的Claude 3.7 Sonnet Thinking，以及谷歌的Gemini Thinking等。這些模型被廣泛應用于各種場景，尤其是在生成詳細“思考鏈”方面展現出了獨特的優勢。
然而，研究卻發現，當問題的復雜度超過某個臨界點時，這些模型的推理能力會急劇下降，甚至完全崩潰，準確率降至零。更令人驚訝的是，在推理過程中，盡管算力充足，但模型用于“思考”的token數量卻隨著問題難度的增加而減少，這進一步揭示了現有推理方法的根本局限性。
論文《思考的幻象：通過問題復雜性的視角理解推理模型的優勢與局限》由Parshin Shojaee等人撰寫，深入剖析了當前AI模型在推理方面的不足。研究人員指出，目前對AI模型的評估主要集中在數學和編程基準測試上，這種評估方式雖然可以反映模型的最終答案準確性，但卻忽略了數據污染問題，也無法揭示模型內部推理軌跡的結構和質量。
為了更深入地了解AI模型的推理過程，研究人員設計了一系列可控的解謎環境，這些環境允許精確操縱問題的復雜性，同時保持邏輯結構的一致性。通過這種方式，研究人員不僅可以分析模型的最終答案，還可以深入探究模型的內部推理軌跡，從而揭示模型是如何“思考”的。
研究團隊發現，模型的表現可以清晰地分為三個階段：在低復雜度任務中，傳統大模型（如Claude-3.7無思維版本）表現更佳；在中等復雜度任務中，具備思維機制的大型推理模型（LRMs）更占優勢；然而，在高復雜度任務中，兩類模型均陷入完全失效狀態。
特別研究還發現LRMs在執行精確計算方面存在明顯局限性，它們無法使用顯式算法進行推理，且在不同謎題之間的推理表現也呈現出不一致性。這一發現進一步強調了當前AI模型在推理能力方面的不足。
研究還指出，當前業界對LRMs的評估范式主要基于已建立的數學基準，這種評估方式可能無法全面反映模型的真實能力。因此，研究人員呼吁需要更加細致的實驗設置來探索這些問題，以更深入地了解AI模型的推理能力和局限性。
論文的發布引起了業界的廣泛關注。研究人員表示，這些發現不僅揭示了現有LRMs的優點和局限性，還引發了關于這些系統推理本質的問題。這些問題對于AI系統的設計和部署具有重要意義，將推動相關領域的研究不斷向前發展。
本文鏈接：http://www.rrqrq.com/showinfo-45-13558-0.html蘋果研究：AI大模型在高復雜度任務中推理能力遭質疑
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：[email protected] 津ICP備18001702號
津公網安備 12010102000574號