在第四屆828 B2B企業(yè)節(jié)盛大開(kāi)幕之際，華為云宣布了一項(xiàng)重大技術(shù)進(jìn)展：其Tokens服務(wù)已成功融入CloudMatrix384超節(jié)點(diǎn)，借助創(chuàng)新的xDeepServe架構(gòu)，實(shí)現(xiàn)了單芯片2400TPS的超高吞吐量和50ms的極低時(shí)延，這一性能表現(xiàn)遠(yuǎn)超當(dāng)前業(yè)界標(biāo)準(zhǔn)。O1P28資訊網(wǎng)——每日最新資訊28at.com

面對(duì)中國(guó)AI算力需求的急劇增長(zhǎng)，華為云積極應(yīng)對(duì)挑戰(zhàn)，推出了基于MaaS的Tokens服務(wù)。從最初按卡時(shí)計(jì)費(fèi)的模式，到如今提供包括在線版、進(jìn)線版、離線版及尊享版在內(nèi)的多樣化服務(wù)規(guī)格，這一轉(zhuǎn)變不僅滿足了不同應(yīng)用和場(chǎng)景的性能需求，更為AI工具如大模型和Agent智能體等提供了更為靈活、高效且成本友好的算力支持。O1P28資訊網(wǎng)——每日最新資訊28at.com

此次Tokens服務(wù)與CloudMatrix384超節(jié)點(diǎn)的結(jié)合，是華為云算力構(gòu)建策略的重要里程碑。通過(guò)384原生的xDeepServe框架，服務(wù)吞吐量實(shí)現(xiàn)了從年初的1920TPS到2400TPS的顯著提升，同時(shí)保持了極低的時(shí)延。這一成就得益于華為在硬件、軟件、算子、存儲(chǔ)、推理框架及超節(jié)點(diǎn)等各個(gè)層面的全棧創(chuàng)新能力。O1P28資訊網(wǎng)——每日最新資訊28at.com

O1P28資訊網(wǎng)——每日最新資訊28at.com

CloudMatrix384超節(jié)點(diǎn)以其革新的計(jì)算架構(gòu)，打破了性能瓶頸，為澎湃算力奠定了堅(jiān)實(shí)基礎(chǔ)。而CANN昇騰硬件使能則通過(guò)優(yōu)化算子和高效通信策略，確保云端算力得以最高效地調(diào)用和組合。EMS彈性內(nèi)存存儲(chǔ)技術(shù)更是突破了AI內(nèi)存墻，實(shí)現(xiàn)了“以存強(qiáng)算”，讓每顆芯片的算力得到徹底釋放。xDeepServe分布式推理框架則以其Transformerless的極致分離架構(gòu)，進(jìn)一步提升了超節(jié)點(diǎn)的算力效率。O1P28資訊網(wǎng)——每日最新資訊28at.com

xDeepServe通過(guò)將MoE大模型拆分為可獨(dú)立伸縮的Attention、FFN、Expert微模塊，實(shí)現(xiàn)了在CloudMatrix384上的高效并行處理。這些微模塊被分配到不同的NPU上同步執(zhí)行任務(wù)，并通過(guò)基于內(nèi)存語(yǔ)義的微秒級(jí)XCCL通信庫(kù)與FlowServe自研推理引擎重新組合，形成了一條超高吞吐量的LLM服務(wù)平臺(tái)，即Tokens的“超高速流水線”。O1P28資訊網(wǎng)——每日最新資訊28at.com

作為專為超節(jié)點(diǎn)上的大語(yǔ)言模型服務(wù)設(shè)計(jì)的高性能通信庫(kù)，XCCL充分發(fā)揮了CloudMatrix384擴(kuò)展后的UB互聯(lián)架構(gòu)潛力，為T(mén)ransformerless的全面分離提供了堅(jiān)實(shí)的帶寬與時(shí)延基礎(chǔ)。而FlowServe作為被重構(gòu)的“去中心”式分布式引擎，則將CloudMatrix384劃分為完全自治的DP小組，每個(gè)小組都能自給自足，確保了即使千卡并發(fā)也不會(huì)出現(xiàn)擁堵現(xiàn)象。O1P28資訊網(wǎng)——每日最新資訊28at.com

華為云MaaS服務(wù)目前已支持DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan等主流大模型及versatile、Dify等主流Agent平臺(tái)。通過(guò)積累的大量模型性能優(yōu)化和效果調(diào)優(yōu)技術(shù)，華為云實(shí)現(xiàn)了“源于開(kāi)源，高于開(kāi)源”，讓更多大模型在昇騰云上展現(xiàn)出更快的運(yùn)行速度和更好的性能表現(xiàn)。以文生圖大模型為例，在輕微損失畫(huà)質(zhì)的情況下，通過(guò)Int8量化和旋轉(zhuǎn)位置編碼融合算子等方式，華為云MaaS平臺(tái)實(shí)現(xiàn)了出圖速度的兩倍提升，最大尺寸支持達(dá)到2K×2K。而在文生視頻大模型上，通過(guò)量化提速和通算并行等方式，視頻生成速度相較于友商實(shí)現(xiàn)了3.5倍的性能提升。O1P28資訊網(wǎng)——每日最新資訊28at.com

在應(yīng)用層面，華為云已與超過(guò)100家合作伙伴攜手，深入行業(yè)場(chǎng)景，共同構(gòu)建了豐富的Agent，廣泛應(yīng)用于調(diào)研分析、內(nèi)容創(chuàng)作、智慧辦公、智能運(yùn)維等領(lǐng)域，解決了眾多產(chǎn)業(yè)難題。例如，基于MaaS平臺(tái)推出的今日人才數(shù)智員工解決方案，集成了先進(jìn)的自然語(yǔ)言處理、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)，能夠智能交互并處理任務(wù)，顯著提升了服務(wù)效率與客戶滿意度。而北京方寸無(wú)憂科技開(kāi)發(fā)的無(wú)憂智慧公文解決方案，則有效提升了公文處理效能，推動(dòng)了政企辦公的智能化轉(zhuǎn)型。O1P28資訊網(wǎng)——每日最新資訊28at.com

隨著以Token為動(dòng)力的智能社會(huì)的到來(lái)，華為云憑借其系統(tǒng)級(jí)創(chuàng)新能力和全新的Tokens服務(wù)，正構(gòu)筑起先進(jìn)算力，助力各行各業(yè)加速落地AI，推動(dòng)智能化進(jìn)程。O1P28資訊網(wǎng)——每日最新資訊28at.com

舉報(bào) 0收藏 0打賞 0評(píng)論 0分享 0    更多>同類資訊超六成iPhone用戶意向購(gòu)買(mǎi)iPhone 17系列，電池續(xù)航成升級(jí)主因快科技9月2日消息，智能手機(jī)比價(jià)平臺(tái)SellCell發(fā)布iPhone用戶調(diào)查：超六成計(jì)劃購(gòu)入iPhone 17，電池續(xù)航成首要升級(jí)因素。據(jù)悉，SellCell 8月份針對(duì)2000余名美國(guó)iPhone用戶展開(kāi)…09-038月A股定增市場(chǎng)升溫，TCL科技、*ST松發(fā)領(lǐng)銜募資榜以首次披露預(yù)案公告日統(tǒng)計(jì)，2025年8月A股上市公司披露的定增預(yù)案（同一定增預(yù)案下的募資及配套募資合并統(tǒng)計(jì)，下同）共計(jì)44起，擬募資規(guī)模合計(jì)約352.78億元，同比上升112%、環(huán)比上升24%。 從單家公司…09-02北大計(jì)算機(jī)學(xué)院&中國(guó)電信云研究院聯(lián)袂招生：計(jì)算機(jī)視覺(jué)方向聯(lián)培博士計(jì)算機(jī)學(xué)院同國(guó)內(nèi)外多所大學(xué)、研究機(jī)構(gòu)建立密切的學(xué)術(shù)聯(lián)系和學(xué)生交換項(xiàng)目，如美國(guó)麻省理工學(xué)院（MIT）、卡耐基梅隆大學(xué)（CMU）、康奈爾大學(xué)（Cornell）、加州大學(xué)洛杉磯分校（UCLA），英國(guó)愛(ài)丁堡大學(xué)，日…09-02LayerX：日本AI新星獲1億美元融資，引領(lǐng)企業(yè)后臺(tái)自動(dòng)化革命09-02Prime Intellect發(fā)布“環(huán)境中心”平臺(tái)，旨在打破AI強(qiáng)化學(xué)習(xí)封閉生態(tài)09-02DeepSeek標(biāo)識(shí)AI生成內(nèi)容，提升用戶認(rèn)知與信息安全09-02新加坡初創(chuàng)公司推出層次推理模型HRM，實(shí)現(xiàn)AI推理速度百倍提升09-02Meta超級(jí)智能實(shí)驗(yàn)室動(dòng)蕩：內(nèi)訌、人才風(fēng)波挑戰(zhàn)超級(jí)智能夢(mèng)09-02蘇寧易購(gòu)引領(lǐng)國(guó)產(chǎn)AI突破：靈思大模型攜手寒武紀(jì)，成本大降效率飆升09-02OpenAI擬在印度建大型數(shù)據(jù)中心，加速亞洲AI基礎(chǔ)設(shè)施布局09-02Salesforce采用AI代理系統(tǒng)，精簡(jiǎn)4000人力，加速業(yè)務(wù)效率提升09-02馬斯克xAI公司起訴前工程師，涉嫌竊密跳槽至競(jìng)爭(zhēng)對(duì)手OpenAI09-02臺(tái)積電二季度晶圓代工市場(chǎng)份額再創(chuàng)新高，占比超七成09-02超六成iPhone用戶欲換iPhone 17，電池續(xù)航成換機(jī)最大誘因09-02華為若上市，市值能否超越數(shù)十個(gè)寒武紀(jì)？最近，一些板塊漲瘋了，市值動(dòng)輒數(shù)百倍，有的上千倍，一些營(yíng)收不多、常年虧損的公司，股價(jià)高達(dá)數(shù)百億，一兩年時(shí)間股價(jià)漲了數(shù)倍，甚至漲了上十倍。 但上市公司就不同了，在研發(fā)投入尤其是基礎(chǔ)研發(fā)投入方面，決策可能會(huì)受股東…09-02點(diǎn)擊查看更多 +全站最新本田CB500SF或?qū)⒘料嗄Σ?huì)，復(fù)古街車新風(fēng)采引期待蔚來(lái)李斌透露新車規(guī)劃：四季度沖刺月銷5萬(wàn)，加速產(chǎn)能提升寶馬發(fā)布全新電動(dòng)踏板概念車Vision CE“夢(mèng)幻CE”，配備防護(hù)架引關(guān)注福特Mustang GT500即將重啟，偽裝原型車動(dòng)力強(qiáng)勁引期待方程豹鈦7將于9月9日上市，預(yù)計(jì)起價(jià)低于25萬(wàn)，高配配智能無(wú)人機(jī)騰勢(shì)汽車8月銷量破萬(wàn)，D9至尊版領(lǐng)銜成都車展，加速全球豪華市場(chǎng)布局熱門(mén)內(nèi)容

• 蘋(píng)果加速AI布局，或收購(gòu)兩家法國(guó)AI初創(chuàng)企業(yè)
• DeepSeek V3.1大模型升級(jí)，適配國(guó)產(chǎn)新芯片，性能顯著提升
• 蘋(píng)果AI布局加速，或?qū)⒊饩拶Y收購(gòu)歐洲兩大AI初創(chuàng)企業(yè)
• 紅米Note15系列前瞻：7s芯片、7000mAh大電池，防水新標(biāo)桿即將登場(chǎng)
• 科創(chuàng)板AI基金8月22日凈值飆升7.79%，重倉(cāng)股表現(xiàn)搶眼
• vivo X300系列新機(jī)入網(wǎng)：首發(fā)LYT-828+2億像素，衛(wèi)通版支持北斗衛(wèi)星短信
• 華為智能手表登頂全球，蘋(píng)果需直面挑戰(zhàn)求變革
• 可可西里迎來(lái)科技新成員：“機(jī)器藏羚羊”助力零干擾科研觀測(cè)
• 科創(chuàng)AIETF資金凈流入破15億，GPT-5發(fā)布助推AI市場(chǎng)熱議
• OpenAI沖刺5000億估值，GPT-5遇冷：資本狂歡與技術(shù)瓶頸的碰撞
• 華為云重組風(fēng)暴：多部門(mén)整合，聚焦AI領(lǐng)域引發(fā)關(guān)注
• 高德地圖2025：開(kāi)啟AI出行新時(shí)代，打造全球首個(gè)地圖AI原生智能體
• AI沖擊職場(chǎng)：美國(guó)畢業(yè)生失業(yè)率飆升，科技行業(yè)首當(dāng)其沖
• 科大訊飛股價(jià)上揚(yáng)1.51%，機(jī)構(gòu)聚焦AI應(yīng)用落地，訊飛成投資熱點(diǎn)
• 華為銀聯(lián)聯(lián)手，8月12日揭秘AI推理加速新技術(shù)，助力AI生態(tài)升級(jí)

本欄最新超六成iPhone用戶意向購(gòu)買(mǎi)iPhone 17系列，電池續(xù)航成升級(jí)主因8月A股定增市場(chǎng)升溫，TCL科技、*ST松發(fā)領(lǐng)銜募資榜北大計(jì)算機(jī)學(xué)院&中國(guó)電信云研究院聯(lián)袂招生：計(jì)算機(jī)視覺(jué)方向聯(lián)培博士華為若上市，市值能否超越數(shù)十個(gè)寒武紀(jì)？智慧家庭新時(shí)代：網(wǎng)絡(luò)萬(wàn)兆升級(jí)，AI交互革新，服務(wù)機(jī)器人引領(lǐng)終端變革谷歌Pixel 10內(nèi)存新設(shè)計(jì)：AI專用內(nèi)存引發(fā)用戶關(guān)注

本文鏈接：http://www.rrqrq.com/showinfo-45-27247-0.html華為云Tokens服務(wù)接入384超節(jié)點(diǎn)，算力突破至2400TPS引領(lǐng)AI創(chuàng)新

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： SSD價(jià)格飆升，SAS與SATA硬盤(pán)價(jià)差持續(xù)擴(kuò)大

下一篇： 超六成iPhone用戶意向購(gòu)買(mǎi)iPhone 17系列，電池續(xù)航成升級(jí)主因