FMIFAwards獎項即將揭曉！
來源：X增強現實FMIF Awards未來元宇宙創新獎是由未來元宇宙創新論壇、ARinChina以及多家投資機構、媒體、研究院聯合發起的一項評選活動。旨在推動新技術的融合與集成低成本
10 月 9 日消息，科技媒體 marktechpost 昨日（10 月 8 日）發布博文，報道稱谷歌公司推出了選擇性注意力（Selective Attention）方法，可以提高 Transformer 架構模型的性能。
Transformer 架構簡介Transformer 是一種革命性的神經網絡架構，由谷歌在 2017 年提出，主要用于處理序列數據，特別是在自然語言處理（NLP）領域。
Transformer 的核心是自注意力機制，允許模型在處理輸入序列時捕捉詞與詞之間的關系，讓模型能夠關注輸入序列中的所有部分，而不僅僅是局部信息。
Transformer 由多個編碼器和解碼器組成。編碼器負責理解輸入數據，而解碼器則生成輸出。多頭自注意力機制使模型能夠并行處理信息，提高了效率和準確性。
Transformer 架構模型挑戰Transformer 架構的一大挑戰是它們在處理長文本序列時效率低下，由于每個標記與序列中的每個其他標記都相互作用導致二次復雜度，這就導致隨著上下文長度的增加，計算和內存需求呈指數增長。
現在解決這一問題的方法包括稀疏注意力機制（sparse attention mechanisms），它限制了標記之間的交互數量，以及通過總結過去信息來減少序列長度的上下文壓縮技術。
不過這種方法是通過減少在注意力機制中考慮的標記數量達成的，因此通常以性能為代價，可能會導致上下文關鍵信息丟失。
谷歌新方法谷歌研究的研究人員提出了一種名為選擇性注意的新方法，可以動態忽略不再相關的標記，從而提高 Transformer 模型的效率。
選擇性注意力使用軟掩碼矩陣來確定每個標記對未來標記的重要性，減少對不重要標記的關注。
研究表明，配備選擇性注意的 Transformer 架構模型在多個自然語言處理任務中表現出色，同時顯著降低了內存使用和計算成本。
例如，在擁有 1 億參數的 Transformer 模型中，注意力模塊的內存需求在上下文大小為 512、1024 和 2048 個 tokens 時分別減少至 1/16、1/25 和 1/47。所提方法在 HellaSwag 基準測試中也優于傳統 Transformer，對于較大的模型規模實現了高達 5% 的準確率提升。
選擇性注意力允許構建更小、更高效的模型，在不損害準確性的情況下，顯著減少內存需求。
附上參考地址
Selective Attention Improves Transformer
This AI Paper from Google Introduces Selective Attention: A Novel AI Approach to Improving the Efficiency of Transformer Models
本文鏈接：http://www.rrqrq.com/showinfo-45-8656-0.htmlAI 架構 Transformer 再進化：谷歌新方法突破長文本處理，注意力模塊內存需求可降至 1 47
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：[email protected] 津ICP備18001702號
津公網安備 12010102000574號