快科技10月31日消息,摩爾線程宣布,針對(duì)PyTorch深度學(xué)習(xí)框架的MUSA插件“Torch-MUSA”,迎來(lái)重大更新新版本v1.3.0,全面兼容PyTorch 2.2.0。
新版進(jìn)一步提升了PyTorch在摩爾線程GPU MUSA架構(gòu)上的模型性能與覆蓋度,能更友好地支持模型遷移到摩爾線程GPU。
PyTorch是全球廣泛使用的深度學(xué)習(xí)框架,在自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、推薦系統(tǒng)等多個(gè)領(lǐng)域展現(xiàn)出了強(qiáng)大的應(yīng)用能力。
摩爾線程Torch-MUSA專為PyTorch提供MUSA后端加速支持,使得用戶能夠在MUSA架構(gòu)上流暢運(yùn)行深度學(xué)習(xí)模型,充分發(fā)揮國(guó)產(chǎn)全功能GPU的強(qiáng)大計(jì)算能力。
自發(fā)布以來(lái),Torch-MUSA已歷經(jīng)多個(gè)版本的迭代,不斷提升兼容性與性能。
Torch-MUSA v1.0.0版本開始,率先支持了PyTorch 2.0,帶來(lái)了顯著的計(jì)算加速和易用性。
經(jīng)過(guò)持續(xù)的開發(fā)與優(yōu)化,新發(fā)布的v1.3.0版本已全面支持PyTorch 2.2.0,極大提升了模型訓(xùn)練與推理的效率,滿足了更多高性能深度學(xué)習(xí)任務(wù)的需求。
目前,Torch-MUSA已完全開源,開發(fā)者可通過(guò)訪問(wèn)GitHub獲取源代碼。
摩爾線程鼓勵(lì)開發(fā)者積極參與該項(xiàng)目的開發(fā)與改進(jìn),通過(guò)提交問(wèn)題報(bào)告(issue)或代碼修改申請(qǐng)(pull request)等方式,共同促進(jìn)Torch-MUSA以及MUSA軟件生態(tài)的持續(xù)進(jìn)步和發(fā)展。

▼ Torch-MUSA開源地址:
https://github.com/MooreThreads/torch_musa
▼ 功能特性
在Torch-MUSA中,用戶只需指定torch.device("musa"),即可輕松將現(xiàn)有的PyTorch模型遷移到MUSA架構(gòu)的GPU上運(yùn)行,無(wú)需大幅修改代碼。
Torch-MUSA完全兼容PyTorch的自動(dòng)微分和動(dòng)態(tài)圖機(jī)制,支持多種常用的神經(jīng)網(wǎng)絡(luò)模塊及優(yōu)化算法,并加速了關(guān)鍵深度學(xué)習(xí)算子的計(jì)算。
此外,Torch-MUSA還支持多種PyTorch特性,包括DDP、JIT、FSDP、Profiler、Extension等。
▼ 版本迭代
v1.1.0:
初次發(fā)布,支持PyTorch 2.0,提供基礎(chǔ)張量操作和常見神經(jīng)網(wǎng)絡(luò)層的MUSA加速。
v1.2.0:
進(jìn)一步擴(kuò)展算子支持,支持了完整功能的Profiler、MUSA Extension,并增加了Torch-MUSA專有特性如compare_tool、musa_converter,幫助用戶更快的定位模型精度問(wèn)題。
v1.3.0:
支持PyTorch2.2.0,性能進(jìn)一步提升,支持FSDP,支持更復(fù)雜的模型和更大規(guī)模的數(shù)據(jù)處理。
▼ 未來(lái)計(jì)劃
Torch-MUSA將繼續(xù)跟進(jìn)PyTorch的版本更新,計(jì)劃支持更高版本的PyTorch。
本文鏈接:http://www.rrqrq.com/showinfo-24-123390-0.html努力替代CUDA!摩爾線程Torch-MUSA插件升級(jí)v1.3.0 完全開源
聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:[email protected]