使用LLM插件從命令行訪問(wèn)Llama 2
最近的一個(gè)大新聞是Meta AI推出了新的開(kāi)源授權(quán)的大型語(yǔ)言模型Llama 2。這是一項(xiàng)非常重要的進(jìn)展：Llama 2可免費(fèi)用于研究和商業(yè)用途。(幾小時(shí)前，swyy發(fā)現(xiàn)它已從LLaMA 2更名為L(zhǎng)la
快科技2月2日消息，據(jù)國(guó)內(nèi)媒體報(bào)道稱，DeepSeek在研發(fā)大模型時(shí)繞過(guò)了英偉達(dá)的護(hù)城河CUDA，這讓美國(guó)不少巨頭們感到了很大的威脅，而現(xiàn)在這件事才剛剛開(kāi)始。
DeepSeek真的繞過(guò)了CUDA，那這件事意味著什么？對(duì)此，北京航空航天大學(xué)黃雷副教授接受采訪時(shí)表示，繞過(guò)CUDA，可以直接根據(jù)GPU的驅(qū)動(dòng)函數(shù)做一些新的開(kāi)發(fā)，從而實(shí)現(xiàn)更加細(xì)粒度的操作。
譬如DeepSeek在多節(jié)點(diǎn)通信時(shí)繞過(guò)了 CUDA 直接使用 PTX（Parallel Thread Execution），其多只能實(shí)現(xiàn)以算法的方式來(lái)高效利用硬件層面的加速。
一旦速度變得更快，打個(gè)比方這就意味著別人家的模型要訓(xùn)練十天，而DeepSeek只需要訓(xùn)練五天，那么就能給模型喂更多的數(shù)據(jù)，即能讓模型在同等時(shí)間內(nèi)看到更多的數(shù)據(jù)，間接提高模型的效果。
按照消息人士的說(shuō)法，DeepSeek擁有一些擅長(zhǎng)寫(xiě)PTX語(yǔ)言的內(nèi)部開(kāi)發(fā)者。
那么，假如它之后使用國(guó)產(chǎn)GPU，其在硬件適配方面將會(huì)更得心應(yīng)手，其只要了解這些硬件驅(qū)動(dòng)提供的一些基本函數(shù)接口，就可以仿照英偉達(dá)GPU硬件的編程接口去寫(xiě)相關(guān)的代碼，從而讓自家大模型更加容易適配國(guó)產(chǎn)硬件。
本文鏈接：http://www.rrqrq.com/showinfo-24-128392-0.html繞開(kāi)英偉達(dá)護(hù)城河CUDA！消息稱DeepSeek準(zhǔn)備適配國(guó)產(chǎn)GPU
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：[email protected]
上一篇： 便宜的50系列顯卡終于來(lái)了！RTX 5060 Ti/5060將于3月上市：高16GB大顯存
下一篇： RTX 5090/5080日本東京發(fā)售造成現(xiàn)場(chǎng)混亂：數(shù)百人擠爆店家致緊急停售
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：[email protected] 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)