10 月 2 日消息，據(jù) PyTorch 新聞稿，PyTorch 旗下架構(gòu)優(yōu)化庫 torchao 現(xiàn)已正式發(fā)布，該優(yōu)化庫主要專注于模型的量化和稀疏性優(yōu)化，能夠在保證性能的同時降低模型的計算成本和 RAM 用量，從而提升模型運(yùn)行效率，附 GitHub 頁面地址（點(diǎn)此訪問）。7Z928資訊網(wǎng)——每日最新資訊28at.com

據(jù)介紹，torchao 提供了一系列優(yōu)化工具集，可以幫助 LLaMA 3等流行的 AI 模型提升性能，其支持 float8、int4 等低精度數(shù)據(jù)類型，能夠有效減少硬件開銷和RAM用量。7Z928資訊網(wǎng)——每日最新資訊28at.com

7Z928資訊網(wǎng)——每日最新資訊28at.com

官方舉例，在 LLaMA 3 70B 模型的預(yù)訓(xùn)練中，torchao 提供的 float8 訓(xùn)練流程可將模型計算速度提升 1.5 倍。開發(fā)者只需利用 convert_to_float8_training 函數(shù)，即可將模型訓(xùn)練轉(zhuǎn)換為 float8，從而輕松實現(xiàn)模型高效訓(xùn)練。7Z928資訊網(wǎng)——每日最新資訊28at.com

在推理方面，torchao 提供多種量化方法，包括權(quán)重量化（Weight-Only Quantization）和動態(tài)激活量化（Dynamic Activation Quantization），用戶可以自有選擇適合的量化策略，以獲得最佳的模型推理性能。7Z928資訊網(wǎng)——每日最新資訊28at.com

在稀疏性優(yōu)化方面，torchao 可以優(yōu)化模型參數(shù)計算效率，據(jù)稱可讓 ViT-H 模型的推理速度提升 5%。同時，torchao 還可以將權(quán)重量化為 int4，并將鍵值緩存量化為 int8，可令 LLaMA 3.1 8B 在完整的 128K 上下文長度下僅占用 18.9GB 的顯存。7Z928資訊網(wǎng)——每日最新資訊28at.com

7Z928資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.rrqrq.com/showinfo-45-8027-0.htmlPyTorch 架構(gòu)優(yōu)化庫 torchao 正式發(fā)布，可大幅提升 AI 模型效率

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：[email protected]

上一篇： OpenAI 發(fā)布 Realtime API，助力第三方應(yīng)用集成其語音合成技術(shù)

下一篇： 非 Transformer 架構(gòu) AI 模型 Liquid 問世，號稱性能“凌駕 Meta Llama 微軟 Phi”