在第四屆828 B2B企業節盛大開幕之際,華為云宣布了一項重大進展:其Tokens服務已成功整合至CloudMatrix384超節點系統。通過引入創新的xDeepServe架構,該系統在單芯片上實現了前所未有的性能突破,達到2400TPS的交易處理速度及50ms的超低時延,遠超當前行業標準。4wc28資訊網——每日最新資訊28at.com
面對中國AI算力需求的爆炸式增長,華為云憑借其獨特的“綜合優勢”,正系統性地構建強大的計算能力。數據顯示,從2024年初至今年6月底,中國日均Token消耗量從1000億激增至30萬億,這一300多倍的增長不僅彰顯了AI應用的迅速擴張,也對算力基礎設施提出了更高要求。4wc28資訊網——每日最新資訊28at.com
今年3月,華為云推出了基于MaaS(模型即服務)的Tokens服務,該服務不僅提供了多種計費模式,還根據應用場景和性能需求,推出了在線版、進線版、離線版及尊享版等多種服務方案。這一創新舉措為大模型和智能體等AI工具提供了更加靈活、經濟高效的算力支持。4wc28資訊網——每日最新資訊28at.com
此次,Tokens服務的全面接入CloudMatrix384超節點,標志著華為云在算力領域邁出了關鍵一步。借助384超節點的原生xDeepServe框架,系統吞吐量從年初的1920TPS躍升至2400TPS,同時保持了50ms的低時延。這一成就得益于從硬件到軟件、從算子到存儲、從推理框架到超節點的全方位技術創新。4wc28資訊網——每日最新資訊28at.com
CloudMatrix384超節點通過革新計算架構,打破了性能瓶頸,為澎湃算力奠定了堅實基礎。而CANN(昇騰計算架構)硬件使能技術,通過優化算子和通信策略,確保了云端算力的高效調度與組合。EMS彈性內存存儲技術打破了AI內存墻,實現了“以存強算”,充分釋放了芯片潛能。xDeepServe分布式推理框架則通過Transformerless架構,將大模型拆解為可獨立擴展的微模塊,實現了超高效算力。4wc28資訊網——每日最新資訊28at.com
xDeepServe的極致分離架構,如同將大模型拆解為“積木”,分派至不同NPU同步處理,再通過高性能通信庫XCCL和自研推理引擎FlowServe重新組合,構建了一條超高速的Tokens處理流水線。這一創新不僅提升了單卡吞吐量至2400tokens/s,還為AI推理的線性擴展提供了可能。4wc28資訊網——每日最新資訊28at.com
作為硬件加速的中間層,CANN包含了算子庫和高性能通信庫XCCL等組件,共同支撐了AI模型的高效運行。XCCL專為超節點上的大語言模型(LLM)服務設計,充分利用了CloudMatrix384的UB互聯架構潛力,為Transformerless架構的全面分離提供了堅實的硬件基礎。4wc28資訊網——每日最新資訊28at.com
FlowServe引擎則采用了“去中心化”設計,將CloudMatrix384切割為完全自治的DP小組,每個小組具備完整的處理能力,確保了即便在千卡并發的情況下也能保持流暢運行。4wc28資訊網——每日最新資訊28at.com
在模型支持方面,華為云MaaS服務已涵蓋了DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan等主流大模型,以及versatile、Dify等主流Agent平臺。通過大量的模型優化和技術積累,華為云實現了“源于開源,高于開源”的目標,使得大模型在昇騰云上能夠更快、更好地運行。4wc28資訊網——每日最新資訊28at.com
以文生圖大模型為例,華為云通過量化技術和算子融合,在輕微犧牲畫質的前提下,實現了兩倍于業界主流平臺的出圖速度,并支持最大2K×2K尺寸。在文生視頻大模型方面,通過量化和通算并行等技術,大幅降低了延遲和顯存占用,實現了3.5倍的性能提升。4wc28資訊網——每日最新資訊28at.com
在應用層面,華為云已與超過100家合作伙伴攜手,深入行業場景,共同開發了豐富的Agent應用。這些應用涵蓋了調研分析、內容創作、智慧辦公、智能運維等多個領域,有效解決了產業難題,加速了企業的AI創新進程。4wc28資訊網——每日最新資訊28at.com
例如,基于MaaS平臺推出的今日人才數智員工解決方案,集成了先進的NLP、機器學習和深度學習技術,實現了智能交互和任務處理,顯著提升了服務效率與客戶滿意度。而北京方寸無憂科技開發的無憂智慧公文解決方案,則通過智能化手段提升了公文處理效率,推動了政企辦公的智能化轉型。4wc28資訊網——每日最新資訊28at.com
舉報 0收藏 0打賞 0分享 0 更多>同類資訊馬蜂窩陳罡:AI成旅游業變革核心,推動服務向全程智能化躍遷08-27

榮耀端側AI語音技術突破,入選國際頂會,引領智能翻譯新時代榮耀MagicOS副總裁孫建發表示,此次研究成果入選 INTERSPEECH,是對榮耀技術創新的鼓勵,同樣印證了“從用戶需求出發”的研發理念,讓每位用戶在無網絡環境下也能享受精準、實時的多語種翻譯,這才是端側…08-27

蘋果AI布局加速,或將斥巨資收購歐洲兩大AI初創企業IT之家 8 月 26 日消息,The Information 今晚報道稱,蘋果高管已就收購歐洲最大 AI 初創公司 Mistral 或Perplexity AI 相關事宜展開討論,其中 Eddy Cue …08-27人工智能板塊火熱,AIETF(515070)近一年漲幅超110%,持倉股表現亮眼昨日高層印發“人工智能+”行動意見引爆科技賽道,人工智能AIETF(515070)持倉股中樂鑫科技20CM漲停、中科創達、瑞芯微、科大訊飛。 消息方面,摩根大通認為,鑒于杠桿率和估值仍處于適度水平,料中國股…08-27AI初創Anthropic與作家達成和解,版權爭議風波暫告一段落08-27抖音副總裁李亮駁斥“人均7月離職”傳聞:指其內容多為AI不實創作08-27谷歌AI模型精準預測大西洋颶風艾琳,展現氣象預報新潛力08-27蘋果加速AI布局,或收購兩家法國AI初創企業08-27AI聊天機器人涉16歲少年自殺案,OpenAI面臨首例非正常死亡訴訟08-27賓州州立大學首推人工智能工程學士,打造未來科技人才搖籃08-27AI醫療助手成投資新寵,Assort Health估值4月飆升3倍08-27Meta超級智能實驗室人才流失,AI領域追趕之路遇阻08-27GPT-5寶可夢對戰大獲全勝,9517步新紀錄彰顯AI高效實力08-27AIETF富國(589380)收盤下跌3.20%,重倉股曝光,最新規模達2.01億元AIETF富國(589380)成立于2025年6月20日,基金全稱為富國上證科創板人工智能交易型開放式指數證券投資基金,基金簡稱為富國上證科創板人工智能ETF。殷欽怡自2025年6月20日管理(或擬管理)該…08-27寒武紀上半年業績飆升43倍,股價創新高突破1400元大關寒武紀科技發布2025上半年財報,業績實現驚人飛躍,營收激增43倍,凈利潤突破十億大關。這家專注于人工智能芯片研發的企業,以其卓越的產品線和市場表現,再度吸引了業界的廣泛關注。財報數據顯示,寒武紀在2025年上半年實現了28.81億元的營業收入,與去年同期相比,這08-27點擊查看更多 +
全站最新
企業局域網監控全攻略:精選軟件助您高效管理員工電腦行為

逆市飛揚!僅兩家航司A380航班量超越疫情前水平

智慧火電“透視眼”,實時監控與預測維護引領行業新變革

物聯網連接新選擇:NB-IoT、Cat.1、eSIM各領風騷

Switch連接錯誤怎么辦?實用方法助你快速恢復游戲體驗

智匯云舟視頻孿生:重塑數字世界,賦能行業智慧轉型實踐
熱門內容- 雷軍抖音賬號變動引熱議:武漢大學標簽悄然消失?
- 云計算新紀元:云智融合引領未來趨勢,安全與技術創新并行
- AI企業市場新格局:Anthropic超越OpenAI成首選
- 2025年人工智能發展藍圖:趨勢、格局與行業應用深度剖析
- 阿里巴巴1688升級AI服務:新品App與查詢工具上線,賦能中小企業高效采購
- 華為Mate 80系列爆料:全新麒麟9030,eSIM與低軌衛星通訊技術加持
- 浙大發布“悟空”類腦計算機:神經元規模超20億,模擬獼猴大腦
- 紅米Note15系列前瞻:7s芯片、7000mAh大電池,防水新標桿即將登場
- 字節跳動AI底層架構領跑2025:技術、組織與財務全面賦能AI時代
- 光伏電站智能化管理:提升效率,降低成本,助力“雙碳”目標實現
- 雷軍抖音賬號母校標簽“武漢大學”消失,或涉平臺隱私調整
- 國家網信辦約談英偉達:要求闡釋H20算力芯片安全隱患及后門風險
- AI浪潮下,微軟研究預警:40種職業或面臨變革挑戰
- 馬斯克將為Grok Heavy用戶帶來AI視頻生成器及虛擬男友“Valentine”測試版
- 英偉達H20芯片安全風險引關注,網信辦約談要求說明“追蹤定位”等技術詳情
本欄最新
榮耀端側AI語音技術突破,入選國際頂會,引領智能翻譯新時代

蘋果AI布局加速,或將斥巨資收購歐洲兩大AI初創企業

算力產業邁向高質量,布局政策體系持續完善促發展

85后科學家企業家陳天石:寒武紀股價飆升,身價突破1500億

國聯股份等巨頭廣州聯手,跨境智運新公司成立,注冊資本達千萬

IOTE深圳物聯網展明日啟幕,AI+IoT全產業鏈年度盛會邀您共襄盛舉
本文鏈接:http://www.rrqrq.com/showinfo-45-27045-0.html華為云Tokens服務性能飛躍:全面接入384超節點,吞吐量飆升至2400TPS
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 昆侖萬維2025上半年財報:虧損8.59億,短劇平臺DramaWave單月流水破2千萬美元
下一篇: 馬蜂窩陳罡:AI成旅游業變革核心,推動服務向全程智能化躍遷