快科技12月1日消息,阿里云舉辦通義千問發(fā)布會(huì),開源通義千問720億參數(shù)模型Qwen-72B。
據(jù)了解,該模型基于3T tokens高質(zhì)量數(shù)據(jù)訓(xùn)練,在10個(gè)權(quán)威基準(zhǔn)測(cè)評(píng)中奪得開源模型優(yōu)成績(jī),性能超越開源標(biāo)桿Llama 2-70B,成為業(yè)界強(qiáng)開源大模型。

不僅如此,其性能也超越了大部分商用閉源模型,在部分測(cè)評(píng)中甚至超越閉源的GPT-3.5和GPT-4。
比如,在英語任務(wù)上,Qwen-72B在MMLU基準(zhǔn)測(cè)試取得開源模型高分;中文任務(wù)上,Qwen-72B在C-Eval、CMMLU、GaokaoBench等基準(zhǔn)得分超越GPT-4;數(shù)學(xué)推理方面,Qwen-72B在GSM8K、MATH測(cè)評(píng)中斷層式領(lǐng)先其他開源模型;代碼理解方面,Qwen-72B在HumanEval、MBPP等測(cè)評(píng)中的表現(xiàn)大幅提升,代碼能力有了質(zhì)的飛躍。

此前,中國(guó)大模型市場(chǎng)還沒出現(xiàn)足以對(duì)標(biāo)Llama 2-70B的優(yōu)質(zhì)開源模型。
Qwen-72B填補(bǔ)了國(guó)內(nèi)空白,以高性能、高可控、高性價(jià)比的優(yōu)勢(shì),提供不亞于商業(yè)閉源大模型的選擇。
基于Qwen-72B,大中型企業(yè)可開發(fā)商業(yè)應(yīng)用,高校、科研院所可開展AI for Science等科研工作。
用戶僅用一句提示詞就可創(chuàng)建自己的AI助手
除了720億參數(shù)模型外,通義千問還開源了18億參數(shù)模型Qwen-1.8B和音頻大模型Qwen-Audio。
Qwen-Audio能夠感知和理解人聲、自然聲、動(dòng)物聲、音樂聲等各類語音信號(hào)。用戶可以輸入一段音頻,要求模型給出對(duì)音頻的理解,甚至基于音頻進(jìn)行文學(xué)創(chuàng)作、邏輯推理、故事續(xù)寫等等。音頻理解能夠賦予大模型接近人類的聽覺能力。
至此,通義千問共開源18億、70億、140億、720億參數(shù)的4款大語言模型,以及視覺理解、音頻理解兩款多模態(tài)大模型,實(shí)現(xiàn)“全尺寸、全模態(tài)”開源。
阿里云是國(guó)內(nèi)早開源自研大模型的科技企業(yè),8月以來開源了Qwen-7B、Qwen-14B和視覺理解模型Qwen-VL。幾款模型先后沖上HuggingFace、Github大模型榜單,得到中小企業(yè)和個(gè)人開發(fā)者的青睞,累計(jì)下載量超過150萬,催生出150多款新模型、新應(yīng)用。

本文鏈接:http://www.rrqrq.com/showinfo-17-35711-0.html強(qiáng)開源大模型!阿里云開源通義千問720億參數(shù)模型
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:[email protected]