拯救XR，蘋果力不從心
來源 | 光子星球撰文 | 文燁豪 編輯 | 吳先之 蘋果終于呈上了它的“答卷”。 北京時間6月6日凌晨，蘋果2023年全球開發(fā)者大會（WWDC）如期舉行。作為蘋果CEO庫克口中&ld
在 ACL 2025 的頒獎典禮上，由 DeepSeek 梁文鋒作為通訊作者、與北京大學等聯(lián)合發(fā)表的論文榮獲最佳論文獎。
這次 ACL 2025 規(guī)模空前，總投稿量達到 8360 篇，相較于去年的 4407 篇幾乎翻倍，競爭異常激烈。
簡單來說，他們提出的原生稀疏注意力（NSA）機制，通過算法與硬件的協(xié)同優(yōu)化，直接把長文本處理速度提升了 11 倍。更厲害的是，性能不僅沒降反而還超越了傳統(tǒng)的全注意力模型。
一作袁境陽在會上發(fā)表演講，透露這項技術可以把上下文長度擴展到 1 百萬 tokens，將被應用到下一個前沿模型中。
結(jié)合論文發(fā)表于 DeepSeek-R1 推出之后，實驗設置中也提到使用了 DeepSeek-R1 的蒸餾數(shù)據(jù)來微調(diào)了新的模型。
大家紛紛猜測，這項技術將被用于下一代 DeepSeek-V4 以及 DeepSeek-R2。
長久以來，大語言模型處理長文本就像是戴著鐐銬跳舞。傳統(tǒng)的全注意力機制計算復雜度隨序列長度呈平方級增長，處理 64k 長度的文本時，注意力計算竟然要占到總延遲的 70-80%。
這篇論文的解決思路很巧妙：既然不是所有詞之間的關系都同等重要，為什么不讓模型學會”抓重點”呢？
NSA 采用了一種動態(tài)分層的稀疏策略，通過三條并行的注意力分支協(xié)同工作：
壓縮注意力，負責捕捉粗粒度的全局信息模式，就像快速瀏覽全文抓住大意；
選擇性注意力，則專注于序列中最重要的詞塊，相當于精讀關鍵段落；
滑動注意力，負責獲取局部的上下文信息，確保細節(jié)不丟失。
這種設計最精妙的地方在于，它不是簡單地丟棄信息，而是通過精心設計的算法平衡了計算密度。
更重要的是，整個架構(gòu)針對現(xiàn)代 GPU 硬件進行了深度優(yōu)化，實現(xiàn)了端到端的原生可訓練模式。
在實際測試中，處理 64k 長度序列時，NSA 在解碼、前向傳播和反向傳播的全生命周期中都展現(xiàn)出驚人的速度優(yōu)勢。
解碼階段速度提升 11.6 倍，前向傳播提升 9 倍，反向傳播也有 6 倍的加速，無論是模型推理還是訓練，都能獲得實實在在的效率提升。
速度快只是 NSA 的一面，更讓人驚訝的是它在各項基準測試中的表現(xiàn)。
在通用基準測試中，采用 NSA 預訓練的 27B 參數(shù)模型在 9 個評測指標中有 7 個超越了全注意力基線。特別是在推理相關的基準測試上，DROP 提升了 0.042，GSM8K 提升了 0.034，顯示出稀疏注意力在強制模型聚焦關鍵信息方面的獨特優(yōu)勢。
長文本處理能力的測試結(jié)果更是亮眼。在 64k 上下文的”大海撈針”測試中，NSA 在所有位置都實現(xiàn)了完美的檢索準確率。在 LongBench 基準測試上，NSA 取得了 0.469 的平均分，不僅超越了全注意力基線（+0.032），更是大幅領先其他稀疏注意力方法。
特別值得一提的是，在需要復雜推理的多跳問答任務上，NSA 相比全注意力分別提升了 0.087（HPQ）和 0.051（2Wiki）；在代碼理解任務（LCC）上提升了 0.069；在段落檢索任務（PassR-en）上提升了 0.075。
研究團隊還進行了一項有趣的實驗：
他們用 DeepSeek-R1 的數(shù)學推理數(shù)據(jù)對模型進行微調(diào)，然后在美國數(shù)學邀請賽（AIME 24）上測試。
結(jié)果顯示，NSA-R 在 8k 上下文設置下的準確率達到 0.121，而全注意力模型只有 0.046；即使在 16k 上下文下，NSA-R 仍然保持 0.146 的準確率，遠超全注意力的 0.092。
這些結(jié)果充分證明了 NSA 不是通過犧牲性能來換取速度，而是真正實現(xiàn)了效率和能力的雙贏。
Three More Thing這次總共評選出 4 篇最佳論文，另外三篇包括：
北大團隊的《Language Models Resist Alignment: Evidence From Data Compression》研究了大型語言模型的“彈性”，指模型經(jīng)過對齊訓練（讓模型符合人類價值觀、減少有害輸出）后，很容易因為后續(xù)的微調(diào)而變回預訓練時的狀態(tài)，就像彈簧被拉伸后會反彈一樣。
這意味著現(xiàn)有的對齊方法可能只是表面上改變了模型，不夠穩(wěn)固。未來需要更有效的對齊技術，才能讓模型真正穩(wěn)定地符合人類需求，尤其是在開源模型中，要避免惡意微調(diào)輕易破壞安全機制。
研究了大模型“公平性”上的一個新視角“差異感知”。簡單來說，就是模型應該在合適的場景下對不同群體做出區(qū)分，而不是一味地一視同仁。
研究發(fā)現(xiàn)那些在傳統(tǒng)公平性測試中表現(xiàn)好的模型，在“差異感知”上得分并不高；模型能力越強（比如 MMLU 分數(shù)越高），情境感知能力越好，但差異感知能力未必提升；現(xiàn)有的“去偏見”方法（比如提示模型“保持無偏見”）反而會讓模型更無視差異，甚至把正確答案改錯。
這篇論文指出大模型生成回答時的采樣機制與人類決策類似，包含描述性成分（反映概念的統(tǒng)計常態(tài)）和規(guī)定性成分（隱含的概念理想狀態(tài)）。
研究通過實驗驗證，無論是新創(chuàng)概念還是現(xiàn)有概念（涵蓋 10 個領域的 500 個概念），LLMs 生成的樣本都會偏離統(tǒng)計平均值，向其認為的“理想值”偏移，且這種現(xiàn)象在 15 種不同模型中均顯著存在。案例研究顯示，這種偏向可能導致醫(yī)療等領域的有偏決策，引發(fā)倫理問題。
DeepSeek 論文地址：
https://arxiv.org/abs/2502.11089
參考鏈接：
[1]https://x.com/aclmeeting/status/1950572483637067786
[2]https://x.com/casper_hansen_/status/1950649481617342803
本文鏈接：http://www.rrqrq.com/showinfo-45-25745-0.htmlDeepSeek 下一代技術提前曝光，梁文鋒署名論文獲 ACL 2025 最佳論文獎
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號