在最新一期科技播客《Unsupervised Learning》中，F(xiàn)lash Attention算法發(fā)明者、普林斯頓大學(xué)教授Tri Dao就AI硬件生態(tài)變革、模型架構(gòu)演進(jìn)等核心議題展開深度探討。這位同時擔(dān)任TogetherAI首席科學(xué)家的研究者指出，未來三年內(nèi)英偉達(dá)在AI加速卡市場的絕對主導(dǎo)地位將面臨根本性挑戰(zhàn)，專用芯片的多元化發(fā)展將成為主流趨勢。c3I28資訊網(wǎng)——每日最新資訊28at.com

針對硬件市場的競爭格局，Tri Dao觀察到隨著Transformer、MoE（專家混合模型）等架構(gòu)的標(biāo)準(zhǔn)化，芯片設(shè)計正從通用型向?qū)Ｓ没D(zhuǎn)型。AMD憑借大容量內(nèi)存優(yōu)勢已在推理市場占據(jù)先機(jī)，而訓(xùn)練端受制于網(wǎng)絡(luò)通信瓶頸仍由英偉達(dá)主導(dǎo)。但他強(qiáng)調(diào)，當(dāng)工作負(fù)載逐漸聚焦特定架構(gòu)時，新入局者通過精準(zhǔn)定位低延遲智能體系統(tǒng)、高吞吐批處理等細(xì)分場景，完全可能打破現(xiàn)有格局。c3I28資訊網(wǎng)——每日最新資訊28at.com

在模型架構(gòu)創(chuàng)新層面，MoE架構(gòu)的稀疏計算特性正在重塑行業(yè)規(guī)則。Tri Dao以DeepSeek提出的multi-head latent attention機(jī)制為例，說明通過潛在投影壓縮KV緩存可顯著降低內(nèi)存占用。這種技術(shù)演進(jìn)使得在128個專家單元中僅激活4個的極端稀疏模型成為可能，相比早期Mistral的8選2模式，計算效率提升達(dá)8倍。與此同時，狀態(tài)空間模型（如Mamba）通過歷史狀態(tài)壓縮技術(shù)，在大批量推理場景中展現(xiàn)出獨(dú)特優(yōu)勢。c3I28資訊網(wǎng)——每日最新資訊28at.com

推理成本三年百倍下降的奇跡背后，是多重技術(shù)突破的協(xié)同效應(yīng)。模型量化技術(shù)將參數(shù)精度從16位壓縮至4位，在幾乎不損失精度的情況下將模型體積縮減75%。Flash Attention通過重構(gòu)內(nèi)存訪問模式，使注意力計算效率提升3-5倍。硬件與算法的協(xié)同設(shè)計更催生出新型優(yōu)化范式，例如針對MoE架構(gòu)的分布式專家部署方案，有效解決了跨芯片通信瓶頸。c3I28資訊網(wǎng)——每日最新資訊28at.com

對于未來技術(shù)演進(jìn)方向，Tri Dao預(yù)測將出現(xiàn)三大核心工作負(fù)載：實時交互型（如代碼輔助）、極低延遲型（如智能體決策）、高吞吐批處理型（如合成數(shù)據(jù)生成）。這種分化促使硬件供應(yīng)商采取差異化策略，某些廠商專注將延遲壓縮至2毫秒以內(nèi)，另一些則通過集群優(yōu)化實現(xiàn)每秒萬級請求處理。TogetherAI采用的"艦隊級"動態(tài)資源分配系統(tǒng)，已能根據(jù)實時負(fù)載自動切換工作模式，使批量API成本降低50%。c3I28資訊網(wǎng)——每日最新資訊28at.com

在自動化編程領(lǐng)域，AI與人類的協(xié)作模式正在發(fā)生質(zhì)變。Tri Dao團(tuán)隊通過Claude Code實現(xiàn)的Triton內(nèi)核生成，使開發(fā)效率提升1.5倍。更值得關(guān)注的是o3模型展現(xiàn)出的架構(gòu)設(shè)計能力，它能準(zhǔn)確指出函數(shù)優(yōu)化的關(guān)鍵路徑。這種代理式AI的發(fā)展，預(yù)示著未來開發(fā)者將更多聚焦于高層設(shè)計，而將具體實現(xiàn)交給智能協(xié)作系統(tǒng)。c3I28資訊網(wǎng)——每日最新資訊28at.com

關(guān)于通用人工智能（AGI）的實現(xiàn)路徑，Tri Dao認(rèn)為現(xiàn)有Transformer架構(gòu)已具備核心要素，但架構(gòu)創(chuàng)新可能將成本降低10倍。他特別強(qiáng)調(diào)"推理優(yōu)先"的設(shè)計理念，指出未來架構(gòu)需在每分錢推理效率（inference per flop）和每浮點(diǎn)運(yùn)算產(chǎn)出（FLOPs per dollar）兩個維度持續(xù)突破。在機(jī)器人領(lǐng)域，多模態(tài)世界模型與實時控制系統(tǒng)的融合，正在解決多時間尺度決策的行業(yè)難題。c3I28資訊網(wǎng)——每日最新資訊28at.com

對于開源與閉源模型的競爭，Tri Dao預(yù)測兩者質(zhì)量差距將在年內(nèi)顯著縮小。隨著強(qiáng)化學(xué)習(xí)工具鏈的成熟，開源社區(qū)在模型微調(diào)方面的效率優(yōu)勢將愈發(fā)明顯。而在數(shù)據(jù)層面，合成數(shù)據(jù)生成技術(shù)正在創(chuàng)造新的價值增長點(diǎn)，某些場景下模型生成的數(shù)據(jù)質(zhì)量已接近人工標(biāo)注水平。c3I28資訊網(wǎng)——每日最新資訊28at.com

在學(xué)術(shù)與產(chǎn)業(yè)的平衡方面，Tri Dao的雙軌制實踐提供了獨(dú)特范本。他在普林斯頓的研究團(tuán)隊專注于2-3年的前瞻性技術(shù)，如機(jī)器人多分辨率控制系統(tǒng)；而TogetherAI的工程團(tuán)隊則聚焦于月度級別的產(chǎn)品迭代。這種探索與開發(fā)的結(jié)合模式，既保證了基礎(chǔ)研究的自由度，又維持了商業(yè)落地的敏捷性。c3I28資訊網(wǎng)——每日最新資訊28at.com

   更多>同類資訊智啟新章：AI時代企業(yè)技術(shù)變革五策，構(gòu)建持續(xù)競爭力體系人工智能（AI）正加速從試點(diǎn)走向企業(yè)級部署，生成式AI的突破推動了組織在技術(shù)架構(gòu)、運(yùn)營流程和人才能力上的系統(tǒng)性變革。 本文將結(jié)合貝恩的實踐經(jīng)驗，深入剖析企業(yè)在AI時代所需重點(diǎn)推進(jìn)的五項核心舉措，助力構(gòu)建具備持…09-29螞蟻百寶箱與友盟攜手，為開發(fā)者鋪就智能體時代“一站式”便捷開發(fā)之路此外，在教育領(lǐng)域，友盟和螞蟻百寶箱共同為國民級家校協(xié)同教育工具“班級小管家”注入 AI 動能，基于螞蟻百寶箱智能體平臺能力及友盟平臺數(shù)據(jù)產(chǎn)品能力，服務(wù)了師生、家長在教育各環(huán)節(jié)家校協(xié)同場景，便利學(xué)生在課堂練習(xí)…09-29GPT-5助力量子計算研究，大牛Scott盛贊：半小時內(nèi)給出關(guān)鍵證明思路換句話說，是否存在一種方法，使得如果答案為“是”，Arthur可以100%接受這個答案，而不是只有2/3的概率？ 但當(dāng)Scott把問題拋給GPT-5后，5分鐘后它就自信滿滿地給出了一個答案，不過Scott一…09-29浪潮AI服務(wù)器雙管齊下：10ms級推理+1元百萬Token，賦能智能體規(guī)模化落地今年的人工智能計算大會上，浪潮信息發(fā)布了超擴(kuò)展AI服務(wù)器元腦HC1000，把AI推理成本狠狠地打了下來。 未來，其將進(jìn)一步針對核心算法算子進(jìn)行硬件化、電路化設(shè)計，實現(xiàn)性能的數(shù)量級提升，從而有效應(yīng)對未來Tok…09-29光伏“老將”能輝科技：AI賦能提效 機(jī)器人拓路 光伏儲能筑基促增長09-29從瓶蓋墊片到原漿直送：青啤以全鏈匠心與科技賦能，重構(gòu)品質(zhì)消費(fèi)新體驗09-29余承東宣布：鴻蒙5終端設(shè)備達(dá)2000萬華為常務(wù)董事、終端BG董事長余承東近日通過視頻向用戶送上節(jié)日祝福，并透露鴻蒙5系統(tǒng)終端設(shè)備裝機(jī)量已突破2000萬臺。這一數(shù)據(jù)較此前公布的1700萬臺實現(xiàn)快速增長，標(biāo)志著鴻蒙生態(tài)建設(shè)邁入新階段。09-29華為盤古718B模型如何突圍？從數(shù)據(jù)質(zhì)量到Agent能力的系統(tǒng)化創(chuàng)新09-29華為盤古718B模型脫穎而出：數(shù)據(jù)質(zhì)量與技術(shù)創(chuàng)新雙輪驅(qū)動09-29象嶼集團(tuán)攜手釘釘，借AI之力開啟數(shù)智化新篇，3萬員工共赴轉(zhuǎn)型新程象嶼集團(tuán)此次與釘釘合作，不僅是AI技術(shù)平臺的引入，更是雙方對未來發(fā)展方向的高度共識。 值得一提的是，象嶼集團(tuán)此次全面引入釘釘One、DingTalk　A1、AI聽記、AI搜問、AI表格等釘釘AI新品，聚焦用…09-29云天勵飛加入OISA生態(tài)，以“算力積木”助力國產(chǎn)AI算力突破MoE大模型瓶頸憑借在 AI 推理芯片與算力架構(gòu)的長期積累，云天勵飛成為 OISA 生態(tài)的重要一員。 未來，云天勵飛將繼續(xù)秉持“AI時代的加速器”愿景，持續(xù)迭代芯片技術(shù)與架構(gòu)創(chuàng)新，攜手 OISA 生態(tài)伙伴，共同推動智能算…09-29四川資源集團(tuán)攜手華為 共繪智慧礦山藍(lán)圖 探索數(shù)智化賦能新路徑封面新聞記者 付文超9月29日，記者獲悉，四川省自然資源投資集團(tuán)有限責(zé)任公司（以下簡稱“四川資源集團(tuán)”）與華為技術(shù)有限公司（以下簡稱“華為”）簽署框架合作協(xié)議。 根據(jù)協(xié)議，雙方將在智慧礦山規(guī)劃和建設(shè)、人工智…09-29Flash Attention作者Tri Dao：英偉達(dá)GPU主導(dǎo)地位或三年內(nèi)瓦解，AI硬件將迎多元生態(tài)他們設(shè)計了非常好的芯片，也有非常好的軟件支持，這讓我能夠做很多有意思的事情，而這正是我追求的：能不能做出有意思的東西。舉例我做的Mamba，思路是讓模型把歷史壓縮成更小的狀態(tài)向量，而不是保存完整的KV c…09-29?長智具身智能科技公司在海南成立 智元機(jī)器人長飛光纖等攜手布局?09-29AMD與NVIDIA下一代AI GPU競速：設(shè)計迭代升級，技術(shù)差距或縮小09-29點(diǎn)擊查看更多 +全站最新理想汽車牽手易烊千璽：共繪時代青年理想藍(lán)圖，開啟移動生活新篇科大訊飛P30學(xué)習(xí)機(jī)：寶媽育兒好幫手，護(hù)眼又高效，孩子學(xué)習(xí)更輕松王心凌傾情代言！馬自達(dá)EZ-60攜雙動力上市，11.99萬起開啟合資新體驗深藍(lán)汽車X華為乾崑長沙試駕落幕：智能增程齊發(fā)力，親子互動共團(tuán)圓MAZDA EZ-60售價11.99萬元起，王心凌代言，智能配置拉滿開啟電動新篇小米定制服務(wù)：以頂級工藝邂逅個性色彩，三年百色計劃解鎖專屬汽車美學(xué)熱門內(nèi)容

• 寒武紀(jì)回應(yīng)訂單不實傳聞：產(chǎn)品多行業(yè)部署，存貨增長因云端備貨
• 熱度攀升！千億科技龍頭頻獲機(jī)構(gòu)調(diào)研，業(yè)務(wù)增長透露哪些行業(yè)新動向？
• 蘋果秋季發(fā)布會亮相iPhone 17系列："史上最薄"Air登場，Pro Max 2TB版定價17999元
• 蘋果加速布局中國市場！Apple Intelligence和新版Siri或年底至明年上線
• ?小米16系列或提前登場，首發(fā)驍龍8 Elite Gen5，9月機(jī)圈大戰(zhàn)一觸即發(fā)?
• 均勝電子新品亮相：AI頭部總成、全域控制器等完善機(jī)器人產(chǎn)品矩陣
• 國金證券：A股第三輪重估腳步臨近，三類資產(chǎn)投資方向值得關(guān)注
• 18歲涂津豪：從DeepSeek實習(xí)生到Nature封面作者，以少年之力叩響AI新章
• ?阿里云與英偉達(dá)達(dá)成Physical AI合作，通義大模型升級，AI算力存力大增?
• WAVE SUMMIT大會新動態(tài)：文心大模型X1.1上線，多項能力顯著躍升
• 華為Mate系列2025年選購指南：三款高性價比機(jī)型技術(shù)解析與場景適配
• 華為智能手表登頂全球，蘋果需直面挑戰(zhàn)求變革
• ?字節(jié)跳動千人芯片團(tuán)隊架構(gòu)調(diào)整，轉(zhuǎn)至新加坡子公司Picoheart引關(guān)注?
• 人工智能浪潮下勝宏科技19億定增落地 獲270名投資者追捧
• 深圳眾擎創(chuàng)始人趙同陽：10月鄭州設(shè)子公司 規(guī)劃打造全球生產(chǎn)制造中心

本欄最新第22屆東博會AI元素亮眼：數(shù)字智能體引路 機(jī)器人炫技展風(fēng)采AI云競爭下半場：華為以超節(jié)點(diǎn)、企業(yè)Agent等破局，誰能領(lǐng)跑產(chǎn)業(yè)？2025網(wǎng)安周：每日互動劉宇談AI時代，知識安全成關(guān)鍵，共筑數(shù)字新未來中國大模型DeepSeek首登Nature封面，R1訓(xùn)練成本僅約208萬引關(guān)注華為全聯(lián)接大會2025啟幕，發(fā)布全球最強(qiáng)算力超節(jié)點(diǎn)與集群有鹿機(jī)器人+連合直租：以智能租賃模式，開啟高端場景清潔新未來

本文鏈接：http://www.rrqrq.com/showinfo-45-28450-0.htmlFlash Attention作者播客談AI未來：英偉達(dá)GPU主導(dǎo)或三年內(nèi)生變，推理成本有望再降10倍

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： DeepSeek-V3.2與智譜GLM-4.6新模型將至，技術(shù)迭代引發(fā)AI領(lǐng)域新期待

下一篇： 智啟新章：AI時代企業(yè)技術(shù)變革五策，構(gòu)建持續(xù)競爭力體系