藍(lán)標(biāo)虧錢(qián)、Meta裁員：天下秀還值得砸錢(qián)元宇宙嗎？
日前，天下秀數(shù)字科技集團(tuán)正式公布了2022年報(bào)及2023年一季報(bào)。報(bào)告顯示，2022年天下秀實(shí)現(xiàn)營(yíng)收41.29億元，同比下滑8.48%；歸母凈利潤(rùn)1.8億元，同比下滑49.2%，幾乎出現(xiàn)了盈利腰斬的態(tài)勢(shì)
10 月 22 日消息，科技媒體 dataconomy 昨日（10 月 21 日）發(fā)布博文，報(bào)道稱(chēng)英偉達(dá)在訓(xùn)練 AI 模型方面取得重大突破，發(fā)布了最新的 Normalized Transformer（nGPT）新架構(gòu)，保持模型的穩(wěn)定性和準(zhǔn)確性的前提下，可以將訓(xùn)練 AI 時(shí)間縮短至 1/4 或者 1/20。
nGPT 架構(gòu)提升效率的秘訣在于“超球面學(xué)習(xí)”（Hyperspherical learning）這個(gè)概念。
傳統(tǒng)的變換器模型通常缺乏一致的幾何框架，而 nGPT 通過(guò)將嵌入、注意力矩陣和隱藏狀態(tài)等關(guān)鍵組件映射到超球面表面，確保模型各層在訓(xùn)練過(guò)程中保持平衡。
這種幾何結(jié)構(gòu)有助于創(chuàng)造更穩(wěn)定高效的學(xué)習(xí)過(guò)程：
減少訓(xùn)練步驟：nGPT 不再直接對(duì)模型權(quán)重應(yīng)用權(quán)重衰減，而是依賴(lài)學(xué)習(xí)到的縮放參數(shù)，優(yōu)化模型在訓(xùn)練中的調(diào)整方式。
簡(jiǎn)化過(guò)程：此方法消除了對(duì) LayerNorm 或 RMSNorm 等歸一化技術(shù)的需求，使訓(xùn)練過(guò)程更為簡(jiǎn)單和快速。
英偉達(dá)團(tuán)隊(duì)使用 OpenWebText 數(shù)據(jù)集進(jìn)行測(cè)試，nGPT 在速度和效率上均優(yōu)于傳統(tǒng)的 GPT 模型。對(duì)于長(zhǎng)達(dá) 4000 個(gè) tokens 的文本輸入，nGPT 所需的訓(xùn)練輪次遠(yuǎn)少于傳統(tǒng)模型，顯著縮短了訓(xùn)練時(shí)間。
nGPT 的一個(gè)關(guān)鍵優(yōu)勢(shì)是將歸一化（normalization）和表示學(xué)習(xí)（representation learning）結(jié)合成一個(gè)統(tǒng)一框架，這種設(shè)計(jì)簡(jiǎn)化了模型架構(gòu)，便于擴(kuò)展和適應(yīng)更復(fù)雜的混合系統(tǒng)。未來(lái)，nGPT 的方法可能被整合進(jìn)其他類(lèi)型的模型和架構(gòu)，從而開(kāi)發(fā)出更強(qiáng)大的 AI 系統(tǒng)。
附上參考地址
nGPT: Normalized Transformer with Representation Learning on the Hypersphere
本文鏈接：http://www.rrqrq.com/showinfo-45-9228-0.html英偉達(dá)新 nGPT 架構(gòu)撬動(dòng) AI 未來(lái)：超球面學(xué)習(xí)提效，訓(xùn)練模型時(shí)間可縮短至 1 20
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：[email protected]
上一篇： 微軟攜手英偉達(dá)“撒錢(qián)”，海量 AI 資源助推醫(yī)療、健康領(lǐng)域突破
下一篇： 馬斯克的 xAI 正式發(fā)布 API，開(kāi)發(fā)者可將 Grok 集成到其他應(yīng)用
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：[email protected] 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)