9 月 24 日消息，科技媒體 marktechpost 昨日（9 月 23 日）發(fā)布博文，報(bào)道稱 OpenAI 在 Hugging Face 上發(fā)布了多語(yǔ)言大規(guī)模多任務(wù)語(yǔ)言理解（MMMLU）數(shù)據(jù)集。21m28資訊網(wǎng)——每日最新資訊28at.com

隨著語(yǔ)言模型日益強(qiáng)大，評(píng)估其在不同語(yǔ)言、認(rèn)知和文化背景下的能力已成為當(dāng)務(wù)之急。21m28資訊網(wǎng)——每日最新資訊28at.com

OpenAI 決定推出 MMMLU 數(shù)據(jù)集，通過(guò)提供強(qiáng)大的多語(yǔ)言和多任務(wù)數(shù)據(jù)集，來(lái)評(píng)估大型語(yǔ)言模型（LLMs）在各種任務(wù)中的性能，從而應(yīng)對(duì)這一挑戰(zhàn)。21m28資訊網(wǎng)——每日最新資訊28at.com

MMMLU 數(shù)據(jù)集包含一系列問(wèn)題，涵蓋各種主題、學(xué)科領(lǐng)域和語(yǔ)言。其結(jié)構(gòu)旨在評(píng)估模型在不同研究領(lǐng)域中需要常識(shí)、推理、解決問(wèn)題和理解能力的任務(wù)中的表現(xiàn)。21m28資訊網(wǎng)——每日最新資訊28at.com

21m28資訊網(wǎng)——每日最新資訊28at.com

MMMLU 的創(chuàng)建反映了 OpenAI 對(duì)測(cè)量模型實(shí)際能力的關(guān)注，尤其是在 NLP 研究中代表性不足的語(yǔ)言，納入多種語(yǔ)言可確保模型在使用英語(yǔ)時(shí)有效，并能勝任全球使用的其他語(yǔ)言。21m28資訊網(wǎng)——每日最新資訊28at.com

涵蓋范圍廣21m28資訊網(wǎng)——每日最新資訊28at.com

MMMLU 數(shù)據(jù)集是同類基準(zhǔn)中最廣泛的基準(zhǔn)之一，涵蓋了從高中問(wèn)題到高級(jí)專業(yè)和學(xué)術(shù)知識(shí)的多種任務(wù)。21m28資訊網(wǎng)——每日最新資訊28at.com

研究人員和開發(fā)人員在利用 MMMLU 數(shù)據(jù)集過(guò)程中，可以調(diào)用不同難度的問(wèn)題，測(cè)試大預(yù)言模型在人文、科學(xué)和技術(shù)主題下的表現(xiàn)。21m28資訊網(wǎng)——每日最新資訊28at.com

更考驗(yàn)深層認(rèn)知21m28資訊網(wǎng)——每日最新資訊28at.com

這些問(wèn)題都經(jīng)過(guò)精心策劃，以確保對(duì)模型的測(cè)試不局限于表面理解，而是深入研究更深層次的認(rèn)知能力，包括批判性推理、解釋和跨領(lǐng)域解決問(wèn)題的能力。21m28資訊網(wǎng)——每日最新資訊28at.com

多語(yǔ)言支持21m28資訊網(wǎng)——每日最新資訊28at.com

MMMLU 數(shù)據(jù)集的另一個(gè)值得注意的特點(diǎn)是它的多語(yǔ)言范圍，支持簡(jiǎn)體中文。該數(shù)據(jù)集支持多種語(yǔ)言，可以進(jìn)行跨語(yǔ)言的綜合評(píng)估。21m28資訊網(wǎng)——每日最新資訊28at.com

21m28資訊網(wǎng)——每日最新資訊28at.com

然而，以英語(yǔ)數(shù)據(jù)訓(xùn)練的模型在使用其他語(yǔ)言時(shí)往往需要幫助來(lái)保持準(zhǔn)確性和連貫性。MMMLU 數(shù)據(jù)集提供了一個(gè)框架，用于測(cè)試傳統(tǒng)上在 NLP 研究中代表性不足的語(yǔ)言模型，從而彌補(bǔ)了這一差距。21m28資訊網(wǎng)——每日最新資訊28at.com

MMMLU 的發(fā)布解決了人工智能界的幾個(gè)相關(guān)挑戰(zhàn)。它提供了一種更具多樣性和文化包容性的方法來(lái)評(píng)估模型，確保它們?cè)诟哔Y源和低資源語(yǔ)言中都能表現(xiàn)出色。21m28資訊網(wǎng)——每日最新資訊28at.com

MMMLU 的多任務(wù)特性突破了現(xiàn)有基準(zhǔn)的界限，它可以評(píng)估同一模型在不同任務(wù)中的表現(xiàn)，從類似瑣事的事實(shí)回憶到復(fù)雜的推理和問(wèn)題解決。這樣就能更細(xì)致地了解模型在不同領(lǐng)域的優(yōu)缺點(diǎn)。21m28資訊網(wǎng)——每日最新資訊28at.com

附上參考地址21m28資訊網(wǎng)——每日最新資訊28at.com

Multilingual Massive Multitask Language Understanding (MMMLU) dataset21m28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.rrqrq.com/showinfo-45-7762-0.htmlOpenAI 發(fā)布 MMMLU 數(shù)據(jù)集：更廣、更深評(píng)估 AI 模型，支持簡(jiǎn)體中文

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：[email protected]

上一篇： 全球首個(gè) AI 自動(dòng)水下潛航器開始測(cè)試，海上風(fēng)電場(chǎng)檢查時(shí)間可縮短 50%

下一篇： 谷歌 Gemini 1.5 AI 模型再進(jìn)化：成本更低、性能更強(qiáng)、響應(yīng)更快