AI大模型“戰火”燒到了教育領域
作者：劉曠自2023年開年以來，AI大模型這股風是越吹越猛烈了。隨著ChatGPT的出圈爆火，再度掀起了一波AI熱浪，無論是在國內還是國外都有不少企業宣布入局或者跟進AI大模型領域。與
9 月 28 日消息，“中國電信人工智能研究院”官方公眾號今天宣布，中國電信人工智能研究院（注：下文稱 TeleAI）成功完成國內首個基于全國產化萬卡集群訓練的萬億參數大模型，并正式對外開源首個基于全國產化萬卡集群和國產深度學習框架訓練的千億參數大模型 —— 星辰語義大模型 TeleChat2-115B。
官方表示，這項科研成果標志著國產大模型訓練真正實現全國產化替代，正式進入全國產自主創新、安全可控的新階段。
TeleChat2-115B 基于中國電信自研的天翼云“息壤一體化智算服務平臺”和人工智能公司“星海 AI 平臺”訓練完成。據介紹，其在保證訓練精度的前提下利用多種優化手段提升模型訓練效率和穩定性，實現了 GPU 同等算力計算效率超 93% ，模型有效訓練時長占比超 98% 。
針對超大參數模型訓練，TeleAI 采用了大量小模型進行 Scaling，進而驗證不同模型結構的有效性。同時，在數據配比方面，基于小模型實驗結果反饋，采用回歸預測模型，得到較優數據配比。
在 Post-Training（后訓練）方面，TeleAI 首先針對數學、代碼和邏輯推理等內容合成了大量問答數據，用于 SFT（監督式微調）第一階段模型訓練。
其次，其采用迭代式更新策略，使用模型對提示詞數據進行指令復雜性提升與多樣性擴充，通過模型合成和人工標注提升答案質量，并利用拒絕采樣獲取優質 SFT 數據及 RM（獎勵模型）代表性數據，用于 SFT 訓練和 DPO（偏好對齊）訓練，以及模型效果迭代。
附開源地址
GitHub：
https://github.com/Tele-AI/TeleChat2
Gitee：
https://gitee.com/Tele-AI/tele-chat2
ModelScope：
https://modelscope.cn/models/TeleAI/TeleChat2-115B
Modelers：
https://modelers.cn/models/TeleAI/TeleChat2-115B
本文鏈接：http://www.rrqrq.com/showinfo-45-8018-0.html中國電信 AI 研究院完成首個全國產化萬卡萬參大模型訓練，TeleChat2-115B 對外開源
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：[email protected] 津ICP備18001702號
津公網安備 12010102000574號