快科技10月30日消息,今天,昆侖萬維官方宣布,開源百億級大語言模型“天工”Skywork-13B系列,并罕見地配套開源了600GB、150B Tokens的超大高質(zhì)量開源中文數(shù)據(jù)集。
根據(jù)官方介紹,昆侖萬維“天工”Skywork-13B系列包括Skywork-13B-Base、Skywork-13B-Math兩大模型及150B Tokens高質(zhì)量中文數(shù)據(jù)集。
其中Skywork-13B-Base模型是Skywork-13B的基礎(chǔ)模型,其經(jīng)由3.2萬億個多語言高質(zhì)量數(shù)據(jù)訓(xùn)練,在CEVAL, CMMLU, MMLU, GSM8K等評測與基準測試上都展現(xiàn)了同等規(guī)模模型的佳效果。
Skywork-13B-Math模型經(jīng)過專門的數(shù)學(xué)能力強化訓(xùn)練,在GSM8K等數(shù)據(jù)集上取得了同等規(guī)模模型的佳效果。
本次開源的數(shù)據(jù)集大小約為600GB,總token數(shù)量約為150B,是目前開源大的高質(zhì)量中文數(shù)據(jù)集之一。
此外,昆侖萬維還公開了模型中使用的評估方法、數(shù)據(jù)配比研究和訓(xùn)練基礎(chǔ)設(shè)施調(diào)優(yōu)方案等,助力對于大型模型預(yù)訓(xùn)練的認知,推動人工智能通用智能的實現(xiàn)。
目前開源社區(qū)中的中文大模型多數(shù)并非是完全可商用,通常需要進行復(fù)雜的商用授權(quán)申請流程,甚至設(shè)定限制不給予商業(yè)授權(quán)。
此次Skywork-13B系列大模型將全面開放商用許可,無需再次申請授權(quán)即可將大模型進行商業(yè)用途,幫助更多對中文大模型感興趣的用戶和企業(yè)在行業(yè)中不斷探索和進步。
附Skywork-13B下載地址:
https://modelscope.cn/organization/skywork
https://github.com/SkyworkAI/Skywork

本文鏈接:http://www.rrqrq.com/showinfo-17-15824-0.html昆侖萬維宣布開源百億級大語言模型“天工”:0門檻商用
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com