【ITBEAR】9月15日消息，在AI大模型時(shí)代，算力成本已成為業(yè)界關(guān)注的焦點(diǎn)。百度系統(tǒng)架構(gòu)師、百度智能云AI計(jì)算部負(fù)責(zé)人王雁鵬近日分享了關(guān)于如何有效降低萬(wàn)卡集群算力開(kāi)支的見(jiàn)解，提出了五大解決方案。
王雁鵬指出，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，GPU集群規(guī)模已達(dá)萬(wàn)卡級(jí)別，這使得大模型時(shí)代的算力成本遠(yuǎn)超人力成本。為了應(yīng)對(duì)這一挑戰(zhàn)，他提出了包括搭載RDMA網(wǎng)絡(luò)、采用自動(dòng)并行策略、確保訓(xùn)練穩(wěn)定性、動(dòng)態(tài)分配算力以及實(shí)現(xiàn)多芯異構(gòu)混訓(xùn)在內(nèi)的五大策略。
據(jù)ITBEAR了解，RDMA網(wǎng)絡(luò)的應(yīng)用在AI集群中顯得尤為重要。與傳統(tǒng)的IB網(wǎng)絡(luò)相比，RDMA網(wǎng)絡(luò)更適合AI集群的需求，它優(yōu)先考慮吞吐量而非延遲，從而有效提升了AI集群的帶寬有效率和模型性能。
此外，王雁鵬還強(qiáng)調(diào)了自動(dòng)并行策略在AI集群演進(jìn)中的重要性。通過(guò)采用“邊計(jì)算邊通信”的方式和顯存優(yōu)化的切分策略，百度成功提高了模型性能，甚至超越了開(kāi)源模型和人工調(diào)優(yōu)模型的效果。
在談到訓(xùn)練穩(wěn)定性時(shí)，王雁鵬表示，穩(wěn)定不間斷的任務(wù)運(yùn)行對(duì)于AI訓(xùn)練至關(guān)重要。百度通過(guò)一系列技術(shù)手段，如Hang檢測(cè)、慢節(jié)點(diǎn)檢測(cè)等，確保了文心一言大模型的有效訓(xùn)練時(shí)長(zhǎng)比例超過(guò)99%。
針對(duì)資源利用率問(wèn)題，王雁鵬提出了訓(xùn)練一體的解決方案。通過(guò)動(dòng)態(tài)分配算力流量和資源，百度百舸異構(gòu)計(jì)算平臺(tái)成功將資源利用率從50%提升至90%，從而有效應(yīng)對(duì)了主流模型訓(xùn)練中的劣勢(shì)。
最后，王雁鵬探討了多芯異構(gòu)混訓(xùn)在解決算力卡脖子問(wèn)題中的關(guān)鍵作用。他提出，通過(guò)搭建跨芯溝通庫(kù)和采用Accelerator抽象設(shè)計(jì)方法，百度實(shí)現(xiàn)了在千卡和萬(wàn)卡規(guī)模下性能損失的最小化。
展望未來(lái)，王雁鵬透露百度將繼續(xù)在三個(gè)核心技術(shù)上尋求突破：實(shí)現(xiàn)更高效的拓?fù)浜蛽砣刂啤U(kuò)大跨地域RDMA網(wǎng)絡(luò)范圍以及進(jìn)一步提升訓(xùn)練故障恢復(fù)速度。這些技術(shù)突破將為百度在未來(lái)十萬(wàn)卡級(jí)別的AI集群競(jìng)爭(zhēng)中占據(jù)有利地位提供有力支持。
關(guān)鍵詞：#百度# #AI大模型# #算力成本# #RDMA網(wǎng)絡(luò)# #多芯異構(gòu)混訓(xùn)#
本文鏈接：http://www.rrqrq.com/showinfo-45-7221-0.html大模型時(shí)代：算力浪費(fèi)竟超50%！百度AI計(jì)算部負(fù)責(zé)人揭秘算力成本之謎
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：[email protected] 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)
