虛擬人再升級(jí)，企業(yè)可以解放雙手了？
來(lái)源：伯虎財(cái)經(jīng)今天想跟大家來(lái)嘮嘮AI，其實(shí)聊到這個(gè)話題很多人都不陌生了。在ChatGPT和AIGC大熱背后，還有一位低調(diào)的“大佬”——虛擬人。比如咱們熟知的虛
2 月 25 日消息，DeepSeek 的“開(kāi)源周”活動(dòng)今日已經(jīng)來(lái)到第二天，今天發(fā)布的是首個(gè)開(kāi)源的用于 MoE 模型訓(xùn)練和推理的 EP 通信庫(kù) ——DeepEP。
附開(kāi)源地址：https://github.com/deepseek-ai/DeepEP
官方表示其具備如下特征：
高效優(yōu)化的全到全通信方式
支持節(jié)點(diǎn)內(nèi)外通信，兼容 NVLink 和 RDMA 技術(shù)
提供高吞吐量的內(nèi)核，提升訓(xùn)練和推理前期填充效率
提供低延遲內(nèi)核，優(yōu)化推理解碼速度
完全支持 FP8 數(shù)據(jù)格式調(diào)度
提供靈活的 GPU 資源管理，支持計(jì)算與通信的重疊執(zhí)行
詳細(xì)介紹的大意如下：
DeepEP 是一款專(zhuān)為混合專(zhuān)家（MoE）和專(zhuān)家并行（EP）設(shè)計(jì)的通信庫(kù)，提供了高吞吐量和低延遲的 all-to-all GPU 內(nèi)核，常用于 MoE 派發(fā)和合并操作。該庫(kù)還支持低精度計(jì)算，包括 FP8。
為了與 DeepSeek-V3 論文中提出的組限制門(mén)控算法兼容，DeepEP 提供了一些針對(duì)不對(duì)稱(chēng)帶寬轉(zhuǎn)發(fā)優(yōu)化的內(nèi)核，比如將數(shù)據(jù)從 NVLink 域轉(zhuǎn)發(fā)到 RDMA 域。這些優(yōu)化的內(nèi)核能夠提供高吞吐量，適合用于訓(xùn)練和推理的預(yù)填充任務(wù)，同時(shí)支持 SM（流式多處理器）數(shù)量控制。
對(duì)于延遲敏感型的推理解碼任務(wù)，DeepEP 提供了一套低延遲內(nèi)核，采用純 RDMA 技術(shù)以最大程度減少延遲。此外，該庫(kù)還采用了一種基于 Hook 的通信與計(jì)算重疊方法，不會(huì)占用任何 SM 資源。
需求：
Hopper GPUs (may support more architectures or devices later)
Python 3.8 及以上版本
CUDA 12.3 及以上版本
PyTorch 2.1 及以上版本
使用 NVLink 進(jìn)行節(jié)點(diǎn)間通信
基于 RDMA 網(wǎng)絡(luò)的節(jié)點(diǎn)間通信
本文鏈接：http://www.rrqrq.com/showinfo-45-11125-0.htmlDeepSeek 開(kāi)源進(jìn)度 2 5：首個(gè)用于 MoE 模型訓(xùn)練和推理的 EP 通信庫(kù) DeepEP
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：[email protected]
上一篇： 上海明星 AI 公司“瀾碼科技”曝“員工停薪社保停繳”，創(chuàng)始人周健回應(yīng)稱(chēng)“借錢(qián)賣(mài)房補(bǔ)償，正尋求被并購(gòu)的可能性”
下一篇： 阿里 Qwen Chat 平臺(tái)上線“深度思考”功能：基于 QwQ-Max-Preview 推理模型，支持聯(lián)網(wǎng)搜索
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：[email protected] 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)