8 月 27 日消息,在今日舉行的第四屆 828 B2B 企業節開幕式上,華為云宣布其 Tokens 服務全面接入 CloudMatrix384 超節點,將發揮“大雜燴”優勢,以系統創新彌補單點不足,實現性能持續提升。
華為云介紹稱,通過 xDeepServe 架構創新,單芯片最高可實現 2400TPS、50msTPOT 的超高吞吐、低時延的性能,超過業界水平。
華為云表示,過去 18 個月,中國 AI 算力需求呈現指數級增長。數據顯示,2024 年初中國日均 Token 的消耗量為 1000 億,截至今年 6 月底,日均 Token 消耗量已突破 30 萬億,1 年半的時間增長了 300 多倍,反映了我國人工智能應用規模快速增長,也對算力基礎設施的需求提出了更大的挑戰。
IT酷哥查詢獲悉,華為云于今年 3 月在以往按卡時計費的基礎上正式推出了基于 MaaS 的 Tokens 服務。針對不同應用、不同場景的性能和時延要求,還提供了在線版、進線版、離線版乃至尊享版等多種規格。
華為云表示,Tokens 服務現正式接入 CloudMatrix384,并通過 384 原生的 xDeepServe 框架再次實現了吞吐量的突破,從年初的 1920TPS 提升至 2400TPS,TPOT 僅為 50ms。
目前,華為云 MaaS 服務已支持 DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan 等主流大模型及 versatile、Dify、扣子等主流 Agent 平臺。
本文鏈接:http://www.rrqrq.com/showinfo-26-179058-0.html華為云宣布 Tokens 服務全面接入 384 超節點:性能從 1920TPS 提升到 2400TPS
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com