AI網紅能年賺百萬，普通人的新機會來了？
來源｜運營研究社作者 | 張知白編輯 | 楊佩汶設計 | 晏談夢潔2023 年 ，數字人成為了當紅的“流量話題”和“商業機會"。不管是 AI 孫燕姿走紅網絡，還是 AI 數字
6 月 3 日消息，科技媒體 marktechpost 昨日（6 月 2 日）發布博文，報道稱英偉達聯合麻省理工學院（MIT）、香港大學，合作推出 Fast-dLLM 框架，大幅提升擴散模型（Diffusion-based LLMs）的推理速度。
擴散模型被認為是傳統自回歸模型（Autoregressive Models）的有力競爭者，采用雙向注意力機制（Bidirectional Attention Mechanisms），理論上能通過同步生成多個詞元（Multi-token Generation）加速解碼過程。
不過在實際應用中，擴散模型的推理速度往往無法媲美自回歸模型，每次生成步驟都需要重復計算全部注意力狀態，導致計算成本高昂。此外，多詞元同步解碼時，詞元間的依賴關系易被破壞，生成質量下降，讓其難以滿足實際需求。
援引博文介紹，英偉達組建的聯合團隊為解決上述瓶頸，研發了 Fast-dLLM 框架。該框架引入兩大創新：塊狀近似 KV 緩存機制和置信度感知并行解碼策略。
KV 緩存通過將序列劃分為塊（Blocks），預計算并存儲其他塊的激活值（KV Activations），在后續解碼中重復利用，顯著減少計算冗余。其 DualCache 版本進一步緩存前后綴詞元（Prefix and Suffix Tokens），利用相鄰推理步驟的高相似性提升效率。
而置信度解碼則根據設定的閾值（Confidence Threshold），選擇性解碼高置信度的詞元，避免同步采樣帶來的依賴沖突，確保生成質量。
Fast-dLLM 在多項基準測試中展現了驚人表現。在 GSM8K 數據集上，生成長度為 1024 詞元時，其 8-shot 配置下實現了 27.6 倍加速，準確率達 76.0%；在 MATH 基準測試中，加速倍數為 6.5 倍，準確率約為 39.3%；在 HumanEval 和 MBPP 測試中，分別實現了 3.2 倍和 7.8 倍加速，準確率維持在 54.3% 和基線水平附近。
整體來看，Fast-dLLM 在加速的同時，準確率僅下降 1-2 個百分點，證明其有效平衡速度與質量。這項研究通過解決推理效率和解碼質量問題，讓擴散模型在實際語言生成任務中具備了與自回歸模型競爭的實力，為未來廣泛應用奠定了基礎。
附上參考地址
Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding論文
Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding項目界面
本文鏈接：http://www.rrqrq.com/showinfo-45-13399-0.html英偉達合作推出 Fast-dLLM 框架，AI 擴散模型推理速度最高飆升 27.6 倍
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：[email protected] 津ICP備18001702號
津公網安備 12010102000574號