六大權(quán)益！華為8月服務(wù)日開啟：手機(jī)免費(fèi)貼膜、維修免人工費(fèi)
8月5日消息，一年一度的華為開發(fā)者大會2023（Together）日前在松山湖拉開帷幕，與此同時，華為8月服務(wù)日也式開啟，到店可享六大專屬權(quán)益。華為用戶可在華為商城Ap
快科技2月5日消息，DeepSeek全球爆火，再一次引發(fā)外界對GPU算力限制話題的關(guān)注。
據(jù)報道，DeepSeek開發(fā)的大語言模型繞過了英偉達(dá)的CUDA框架，正為未來兼容國產(chǎn)GPU芯片做準(zhǔn)備。
眾所周知，英偉達(dá)的CUDA（Compute Unified Device Architecture，統(tǒng)一運(yùn)算架構(gòu)）能大幅降低研發(fā)大模型的難度，獲全球開發(fā)商使用，一舉將英偉達(dá)推上AI芯片領(lǐng)域的壟斷地位。
但新發(fā)現(xiàn)顯示，DeepSeek使用英偉達(dá)的H800芯片訓(xùn)練時，使用英偉達(dá)底層硬件指令PTX（Parallel Thread Execution）語言，而非高級編程語言CUDA。
這樣意味著DeepSeek繞過了CUDA，使用更底層的編程語言做優(yōu)化。
對于程序開發(fā)人員來說，CUDA是一種更加友好的高級語言，開發(fā)者只需要專注于程序和算法相關(guān)的運(yùn)行邏輯，而不太需要考慮具體的程序是如何在GPU等硬件上具體如何執(zhí)行計(jì)算的，從而能夠降低開發(fā)難度。
而PTX在接近匯編語言的層級運(yùn)行，允許進(jìn)行細(xì)粒度的優(yōu)化，如寄存器分配和Thread / Warp級別的調(diào)整。這種編程非常復(fù)雜且難以維護(hù)，所以行業(yè)通用的做法是使用CUDA這樣的高級編程語言。
換句話說，DeepSeek把優(yōu)化做到了極致。
北京航空航天大學(xué)副教授黃雷表示，繞過CUDA可以直接根據(jù)GPU的驅(qū)動函數(shù)做一些新的開發(fā)，從而實(shí)現(xiàn)更加細(xì)粒度的操作。
這也說明DeepSeek擁有一些擅長寫PTX語言的內(nèi)部開發(fā)者。假如它之后使用國產(chǎn)GPU，其在硬件適配方面將會更得心應(yīng)手，其只要了解這些硬件驅(qū)動提供的一些基本函數(shù)接口，就可以仿照英偉達(dá)GPU硬件的編程接口去寫相關(guān)的代碼，從而讓自家大模型更加容易適配國產(chǎn)硬件。
“這凸顯了DeepSeek非凡的工程水平，并表明美國對華制裁加劇的“GPU短缺危機(jī)”激發(fā)了他們緊迫感和創(chuàng)造力。”韓國Mirae Asset Securities Research的一名分析師表示。
本文鏈接：http://www.rrqrq.com/showinfo-24-128702-0.html曝DeepSeek繞過CUDA！為適配中國國產(chǎn)GPU做準(zhǔn)備 跳出英偉達(dá)限制
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：[email protected] 津ICP備18001702號
津公網(wǎng)安備 12010102000574號