在第四屆828 B2B企業節的盛大開幕式上,華為云公布了一項重大進展:其Tokens服務已成功融入CloudMatrix384超節點體系。這一融合得益于xDeepServe架構的革新,使得單芯片的處理能力突飛猛進,達到了前所未有的2400TPS(每秒事務處理數),同時保持了50ms的TPOT(任務處理總時間),這一成績遠超當前行業標準。FX028資訊網——每日最新資訊28at.com
面對中國AI算力需求的爆炸式增長,華為云展現出其“全棧創新”的實力。數據顯示,從2024年初至2025年6月底,中國日均Token消耗量從1000億飆升至30萬億,這一300多倍的增長凸顯了人工智能應用的迅猛擴張,也對算力基礎設施提出了更高要求。FX028資訊網——每日最新資訊28at.com
早在今年3月,華為云便推出了基于MaaS(模型即服務)的Tokens服務,旨在滿足不同應用與場景的性能和時延需求。該服務提供多種規格,如在線版、進線版、離線版及尊享版,為大模型和Agent智能體等AI工具提供了靈活、高效且成本優化的算力解決方案。FX028資訊網——每日最新資訊28at.com
FX028資訊網——每日最新資訊28at.com
此次,Tokens服務與CloudMatrix384超節點的結合,通過xDeepServe框架的再次升級,將吞吐量從年初的1920TPS提升至2400TPS,TPOT則縮短至50ms。這一成就背后,是華為云從硬件到軟件、從算子到存儲、從推理框架到超節點的全方位技術創新。FX028資訊網——每日最新資訊28at.com
CloudMatrix384超節點以其獨特的計算架構,打破了性能瓶頸,奠定了堅實的算力基礎。同時,CANN(昇騰計算架構)硬件使能技術優化了算子與通信策略,使得云端算力得以高效調用。EMS彈性內存存儲則打破了AI內存墻,實現了“以存強算”,進一步釋放了芯片算力。而xDeepServe分布式推理框架,則通過Transformerless的極致分離架構,讓超節點能夠釋放出更高效的算力。FX028資訊網——每日最新資訊28at.com
xDeepServe將MoE大模型拆解為可獨立伸縮的Attention、FFN、Expert三個微模塊,這些“積木”被分配到不同的NPU上同步處理任務,然后通過高效的XCCL通信庫與FlowServe自研推理引擎重新組合,形成超高吞吐量的LLM服務平臺。這一創新架構,使得單卡吞吐量從600tokens/s躍升至2400tokens/s。FX028資訊網——每日最新資訊28at.com
XCCL作為專為超節點上的大語言模型服務設計的高性能通信庫,充分發揮了CloudMatrix384的UB互聯架構潛力,為Transformerless的全面分離提供了堅實的帶寬與時延支持。而FlowServe作為“去中心”式分布式引擎,將CloudMatrix384劃分為完全自治的DP小組,每個小組自給自足,確保了千卡并發時的流暢運行。FX028資訊網——每日最新資訊28at.com
華為云MaaS服務目前已支持DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan等主流大模型及versatile、Dify等主流Agent平臺。通過大量的模型性能優化與效果調優,華為云實現了“源于開源,高于開源”,讓大模型在昇騰云上展現出更卓越的性能。例如,在文生圖大模型上,通過量化與融合算子等技術,華為云MaaS平臺在輕微損失畫質的情況下,實現了出圖速度的兩倍提升,最大支持2K×2K尺寸。在文生視頻大模型上,則通過量化與通算并行等方式,大幅提升了視頻生成速度,相較于競爭對手實現了3.5倍的性能優勢。FX028資訊網——每日最新資訊28at.com
FX028資訊網——每日最新資訊28at.com
在應用層面,華為云已與超過100家合作伙伴攜手,深入行業場景,共同開發豐富的Agent應用。這些應用覆蓋了調研分析、內容創作、智慧辦公、智能運維等多個領域,解決了眾多產業難題,幫助企業更便捷地擁抱AI創新,加速智能化轉型。例如,基于MaaS平臺推出的今日人才數智員工解決方案,集成了先進的自然語言處理、機器學習和深度學習技術,能夠智能交互并處理任務,顯著提升服務效率與客戶滿意度。而北京方寸無憂科技開發的無憂智慧公文解決方案,則提升了公文處理效能,推動了政企辦公的智能化轉型。FX028資訊網——每日最新資訊28at.com
舉報 0收藏 0打賞 0分享 0 更多>同類資訊
Rokid Glasses智能眼鏡紐約亮相,全球可穿戴AI領域迎新突破IT之家 8 月 27 日消息,Rokid 官方今日晚宣布,Rokid Glasses在美國紐約正式面向海外市場發布,標志著全球可穿戴人工智能領域邁入新階段。 此前,Rokid 與高德地圖達成合作,聯合發布…08-28

科大訊飛40億定增,加速布局AI教育,劍指3000億藍海市場AI重塑教育,背后得益于科大訊飛等中國AI領頭羊的持續創新和精進,它搶抓AI時代根紅利,正在G端、B端、C端等教育場景規模化落地AI。 科大訊飛積累了龐大的、高質量的語料、教育數據、用戶反饋和業務經驗,為星…08-28IBM與AMD強強聯合,探索量子計算與AI融合新境界08-28

AI芯片巨頭寒武紀股價飆升,超越茅臺暫成A股“新貴”近期,高盛發布研報,進一步上調寒武紀目標價50%至1835元,主要原因包括中國云計算資本支出提高、芯片平臺多樣化、寒武紀研發投入增大等。 據TrendForce預測,2025年中國AI服務器市場中外采芯片比…08-28AI產業鏈火爆!科創人工智能ETF華夏(589010)高開高走,寒武紀權重超15%今日截至10點02,在寒武紀財報遠超預期、《“人工智能+”行動意見》發布等多重利好加持下,AI產業鏈全線爆發,智能音箱、DeepSeek、MCU等概念指數領漲市場。該應用整合了深度思考、資源檢索以及影視娛樂功…08-28

寒武紀商業帝國全貌探析08-28美夫婦控告OpenAI:ChatGPT助16歲兒走向不歸路08-27知乎Q2財報亮點:經調整凈利潤9130萬,AI賦能社區生態顯成效08-27昆侖萬維2025上半年財報:虧損8.59億,短劇平臺DramaWave單月流水破2千萬美元08-27華為云Tokens服務性能飛躍:全面接入384超節點,吞吐量飆升至2400TPS08-27馬蜂窩陳罡:AI成旅游業變革核心,推動服務向全程智能化躍遷08-27

榮耀端側AI語音技術突破,入選國際頂會,引領智能翻譯新時代榮耀MagicOS副總裁孫建發表示,此次研究成果入選 INTERSPEECH,是對榮耀技術創新的鼓勵,同樣印證了“從用戶需求出發”的研發理念,讓每位用戶在無網絡環境下也能享受精準、實時的多語種翻譯,這才是端側…08-27

蘋果AI布局加速,或將斥巨資收購歐洲兩大AI初創企業IT之家 8 月 26 日消息,The Information 今晚報道稱,蘋果高管已就收購歐洲最大 AI 初創公司 Mistral 或Perplexity AI 相關事宜展開討論,其中 Eddy Cue …08-27人工智能板塊火熱,AIETF(515070)近一年漲幅超110%,持倉股表現亮眼昨日高層印發“人工智能+”行動意見引爆科技賽道,人工智能AIETF(515070)持倉股中樂鑫科技20CM漲停、中科創達、瑞芯微、科大訊飛。 消息方面,摩根大通認為,鑒于杠桿率和估值仍處于適度水平,料中國股…08-27AI初創Anthropic與作家達成和解,版權爭議風波暫告一段落08-27點擊查看更多 +
全站最新
華為Mate XTs官宣:搶在iPhone 17前發布,三折疊新機再升級

蘋果秋季發布會預告:iPhone 17 Air超薄亮相,多款新品亮點搶眼

谷歌研發iOS兼容“快速分享”,安卓iOS文件互傳將更便捷

蘋果iPhone17發布會定檔,iPhone15及16部分機型或面臨停售

馬斯克發起AI訴訟戰:指控蘋果與OpenAI壟斷市場

iPhone17系列即將來襲:蘋果秋季發布會9月10日見真章
熱門內容- 雷軍抖音賬號變動引熱議:武漢大學標簽悄然消失?
- 云計算新紀元:云智融合引領未來趨勢,安全與技術創新并行
- AI企業市場新格局:Anthropic超越OpenAI成首選
- 阿里巴巴1688升級AI服務:新品App與查詢工具上線,賦能中小企業高效采購
- 華為Mate 80系列爆料:全新麒麟9030,eSIM與低軌衛星通訊技術加持
- 浙大發布“悟空”類腦計算機:神經元規模超20億,模擬獼猴大腦
- 紅米Note15系列前瞻:7s芯片、7000mAh大電池,防水新標桿即將登場
- 字節跳動AI底層架構領跑2025:技術、組織與財務全面賦能AI時代
- 光伏電站智能化管理:提升效率,降低成本,助力“雙碳”目標實現
- 雷軍抖音賬號母校標簽“武漢大學”消失,或涉平臺隱私調整
- 國家網信辦約談英偉達:要求闡釋H20算力芯片安全隱患及后門風險
- AI浪潮下,微軟研究預警:40種職業或面臨變革挑戰
- 英偉達H20芯片安全風險引關注,網信辦約談要求說明“追蹤定位”等技術詳情
- 馬斯克將為Grok Heavy用戶帶來AI視頻生成器及虛擬男友“Valentine”測試版
- 馬斯克新推:視頻生成器Imagine與AI虛擬男友Valentine即將登陸Grok Heavy
本欄最新
華為云Tokens服務升級,384超節點助力實現2400TPS高性能算力

Rokid Glasses智能眼鏡紐約亮相,全球可穿戴AI領域迎新突破

科大訊飛40億定增,加速布局AI教育,劍指3000億藍海市場

AI芯片巨頭寒武紀股價飆升,超越茅臺暫成A股“新貴”

寒武紀商業帝國全貌探析

榮耀端側AI語音技術突破,入選國際頂會,引領智能翻譯新時代
本文鏈接:http://www.rrqrq.com/showinfo-45-27035-0.html華為云Tokens服務升級,384超節點助力實現2400TPS高性能算力
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 小米官宣:28日15點發布澎湃OS3,Slogan“事事順心”,新功能搶先看
下一篇: Rokid Glasses智能眼鏡紐約亮相,全球可穿戴AI領域迎新突破