當前位置：首頁 > 科技 > 網(wǎng)絡(luò)

華為提出全新壓縮算法：節(jié)省70%內(nèi)存占用

來源：責編：時間：2025-01-25 09:33:32 141觀看

導讀快科技1月24日消息，華為AI算法團隊在人工智能領(lǐng)域取得了顯著突破，他們研究并發(fā)表了一種創(chuàng)新的大模型KV Cache壓縮算法，名為“RazorAttention”。這一算法具有卓越的性能，能夠有效節(jié)省高達70%的大模型

快科技1月24日消息，華為AI算法團隊在人工智能領(lǐng)域取得了顯著突破，他們研究并發(fā)表了一種創(chuàng)新的大模型KV Cache壓縮算法，名為“RazorAttention”。

這一算法具有卓越的性能，能夠有效節(jié)省高達70%的大模型推理內(nèi)存占用，為AI大模型的高效運行提供了有力支持。

其論文《RazorAttention: Efficient KV Cache Compression Through Retrieval Heads》已被深度學習領(lǐng)域國際頂級會議ICLR 2025收錄。

華為表示，此算法為業(yè)界首個基于Attention可解釋性的離線靜態(tài)KV Cache壓縮算法，打破了過去AI大模型長序列KV Cache壓縮不理想的現(xiàn)狀。

該算法通過檢索頭的設(shè)置，確保上下文中重要且主要的信息不丟失，在保持高精度（誤差小于1%）的情況下，靜態(tài)有效壓縮了大到70%的KV Cache內(nèi)存占用，可以為用戶大大節(jié)約AI大模型推理的成本。

目前RazorAttention算法已產(chǎn)品化集成在昇騰MindIE/MindStudio，支持主流8K~1M長序列KV Cache壓縮，32K以上場景增量吞吐提升20%+。

華為提出全新壓縮算法：節(jié)省70%內(nèi)存占用

本文鏈接：http://www.rrqrq.com/showinfo-17-127459-0.html華為提出全新壓縮算法：節(jié)省70%內(nèi)存占用

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇：余承東用華為平板畫了一個福字：巧妙融入“2025”

下一篇：韓國棋院稱會把獎金匯入柯潔賬戶：將修改圍棋規(guī)定

標簽：

熱門焦點

vivo TWS Air開箱體驗：真輕臻好聽

在vivo S15系列新機的發(fā)布會上，vivo的最新款真無線藍牙耳機vivo TWS Air也一同發(fā)布，本次就這款耳機新品給大家?guī)硪粋€簡單的分享。外包裝盒上，vivo TWS Air保持了vivo自家產(chǎn)
十個簡單但很有用的Python裝飾器

裝飾器（Decorators）是Python中一種強大而靈活的功能，用于修改或增強函數(shù)或類的行為。裝飾器本質(zhì)上是一個函數(shù)，它接受另一個函數(shù)或類作為參數(shù)，并返回一個新的函數(shù)或類。它們通常用
一條抖音4億人圍觀 ! 這家MCN比無憂傳媒還野

作者：Hiu 來源：互聯(lián)網(wǎng)品牌官01 擦邊少女空降熱搜，幕后推手曝光被網(wǎng)友譽為“純欲天花板”的女網(wǎng)紅井川里予，近期因為一組哥特風照片登上熱搜，引發(fā)了一場互聯(lián)網(wǎng)世界關(guān)于
馮提莫簽約抖音公會前“斗魚一姐”消失在直播間

來源：直播觀察提起“馮提莫”這個名字，很多網(wǎng)友或許聽過，但應(yīng)該不記得她是哪位主播了。其實，作為曾經(jīng)的“斗魚一姐”，馮提莫在游戲直播的年代影響力不輸于現(xiàn)
三星推出Galaxy Tab S9系列平板電腦以及Galaxy Watch6系列智能手表

2023年7月26日，三星電子正式發(fā)布了Galaxy Z Flip5與Galaxy Z Fold5。除此之外，Galaxy Tab S9系列平板電腦以及三星Galaxy Watch6系列智能手表也同期
英特爾Xe-HP項目終止，將專注Xe-HPC/HPG系列顯卡

據(jù)10 月 31 日消息報道，英特爾高級副總裁兼加速計算系統(tǒng)和圖形事業(yè)部總經(jīng)理表示，Xe-HP“ Arctic Sound” 系列服務(wù)器 GPU 已經(jīng)應(yīng)用于 oneAPI devcloud 云服
電博會上海爾智家模擬500平大平層，還原生活空間沉浸式體驗

電博會為了更好地讓參展觀眾真正感受到智能家居的絕妙之處，海爾智家的程傳嶺先生同樣介紹了展會上海爾智家的模擬500平大平層，還原生活空間沉浸式體驗。程傳
“買真退假” 這種“羊毛”不能薅

□ 法治日報記者王春　　□ 本報通訊員胡佳麗　　2020年初，還在上大學的小東加入了一個大學生兼職QQ群。群主“七王”在群里介紹一些刷單賺
Meta盲目擴張致超萬人被裁，重金押注元宇宙而前景未明

圖片來源：圖蟲創(chuàng)意日前，Meta創(chuàng)始人兼CEO 馬克·扎克伯發(fā)布公開信，宣布Meta計劃裁員超11000人，占其員工總數(shù)13%。他公開承認了自己的預(yù)判失誤：“不僅

国产精品嫩草99av在线_一区在线视频观看_欧美高清一区_欧美日韩国产一区_99精品欧美一区二区三区_久久大香伊蕉在人线观看热2_一色屋精品视频在线观看网站_在线亚洲国产精品网站_亚洲区一区二区三区_你懂的视频一区二区

華為提出全新壓縮算法：節(jié)省70%內(nèi)存占用

vivo TWS Air開箱體驗：真輕臻好聽

十個簡單但很有用的Python裝飾器

一條抖音4億人圍觀 ! 這家MCN比無憂傳媒還野

馮提莫簽約抖音公會前“斗魚一姐”消失在直播間

三星推出Galaxy Tab S9系列平板電腦以及Galaxy Watch6系列智能手表

英特爾Xe-HP項目終止，將專注Xe-HPC/HPG系列顯卡

電博會上海爾智家模擬500平大平層，還原生活空間沉浸式體驗

“買真退假” 這種“羊毛”不能薅

Meta盲目擴張致超萬人被裁，重金押注元宇宙而前景未明

最新推薦

猜你喜歡

熱門推薦

相關(guān)資訊