元宇宙終究沒火過兩年
來源：傳播體操在ChatGPT快速破圈的同時，元宇宙的熱度卻一瀉千里。雖然互聯(lián)網(wǎng)大廠們都沒有否認(rèn)元宇宙的長期想象力，但在行動上卻都紛紛表示了對元宇宙短期前景的悲觀。號稱改變
一個創(chuàng)新性的開放平臺SciArena近期正式啟動，其核心目的在于評估大型語言模型（LLM）在科學(xué)文獻處理任務(wù)中的實際效能，這一評估依據(jù)的是研究人員的真實偏好。平臺運行初期，已明顯觀察到不同模型間存在效能差異。
SciArena由耶魯大學(xué)、紐約大學(xué)以及艾倫人工智能研究所的專家攜手打造，它專注于系統(tǒng)性地評測專有和開源LLM在科學(xué)文獻處理方面的表現(xiàn)，這一領(lǐng)域此前缺乏系統(tǒng)的評估工具。
該平臺采用了不同于傳統(tǒng)基準(zhǔn)測試的方法，效仿Chatbot Arena的模式，引入了真實研究人員的直接評估。用戶在提交科學(xué)問題后，會收到兩個由模型生成并附有相關(guān)引用的詳細(xì)答案，然后用戶根據(jù)判斷選擇更優(yōu)的答案。這些引用的文獻均通過專門的ScholarQA檢索流程獲取。
SciArena已積累了來自自然科學(xué)、工程學(xué)、生命科學(xué)和社會科學(xué)四大領(lǐng)域102位研究人員的超過13,000份評估數(shù)據(jù)，涵蓋概念闡述、文獻檢索等多個維度。
在當(dāng)前的排名中，OpenAI的o3模型獨占鰲頭，領(lǐng)先于Claude-4-Opus和Gemini-2.5-Pro。而在開源模型領(lǐng)域，Deepseek-R1-0528表現(xiàn)突出，甚至超越了部分專有系統(tǒng)。研究團隊特別指出，o3在自然科學(xué)和工程科學(xué)領(lǐng)域的表現(xiàn)尤為亮眼。研究人員還發(fā)現(xiàn)，用戶在評估時更注重引用與陳述的匹配度，而非單純引用數(shù)量。答案長度等因素對SciArena的影響相對較小，與Chatbot Arena或Search Arena等平臺有所不同。
盡管取得了顯著進展，但自動化評估仍面臨挑戰(zhàn)。為此，團隊還推出了一項名為SciArena-eval的新基準(zhǔn)測試，旨在測試語言模型判斷其他模型答案的能力。然而，即便是表現(xiàn)最佳的模型，也只有約65%的時間與人類偏好一致，這反映出當(dāng)前LLM在科學(xué)領(lǐng)域的評估系統(tǒng)尚存局限。
SciArena平臺現(xiàn)已向公眾開放，其代碼、數(shù)據(jù)及SciArena-eval基準(zhǔn)測試均以開源形式提供，旨在助力開發(fā)更符合研究人員在科學(xué)信息任務(wù)中需求的模型。
舉報 0收藏 0打賞 0評論 0分享 0 更多>同類資訊谷歌發(fā)布Gemini for Education：免費AI工具助力全球教育創(chuàng)新與公平07-03榮耀總裁方飛：蘋果入局折疊屏，是激勵也是新起點07-03OpenAI堅持英偉達(dá)與AMD，暫不全面采用谷歌TPU芯片07-03Crunchyroll新動畫字幕出錯，疑似AI生成引熱議，觀眾呼吁保證創(chuàng)作質(zhì)量07-03
三星Galaxy Z Fold新機：7月9日震撼發(fā)布，16GB+1TB高配來襲現(xiàn)在的手游和應(yīng)用不斷升級，對配置的要求越來越高，所以不少品牌推出自研芯片、性能引擎、算法等方面，進一步優(yōu)化性能，提升新機體驗。新機也被官方稱為三星超輕薄折疊旗艦，看來今年的新折疊屏不斷追求輕薄，甚至是與直板機…07-03
榮耀Magic V5震撼發(fā)布：輕薄折疊旗艦，搭載6100mAh大電池與驍龍8至尊芯片榮耀Magic V5采用全新AI交互方式，以更輕薄的折疊旗艦形態(tài)與行業(yè)領(lǐng)先的AI智能體實力，釋放PC級生產(chǎn)力，開啟智能交互體驗的全新想象，用科技拓寬一小時的生命寬度，帶來一輩子的溫暖陪伴。榮耀正式宣布支持MC…07-03
中國移動新動作：九天人工智能科技公司成立，注冊資本高達(dá)20億07-03
榮耀Magic V5震撼發(fā)布：輕薄折疊旗艦，搭載6100mAh大電池與驍龍8至尊版07-03
榮耀Magic V5深度評測：輕薄新紀(jì)錄，AI折疊屏新標(biāo)桿在多設(shè)備聯(lián)動上，榮耀MagicV5還可以自家的大屏PC、智能手表、智能耳機等智能聯(lián)動，不僅支持手表解鎖手機功能以及一鍵鎖定手表，并支持雙向查找，AI體驗同步流轉(zhuǎn)，在榮耀手表5 Ultra上，也可以直接喚醒…07-02
榮耀Magic V5震撼發(fā)布：纖薄新紀(jì)錄，滿血配置售價8999元起7月2日，榮耀推出了新一代旗艦大折疊手機——榮耀Magic V5，這款手機不僅再創(chuàng)多項大折疊手機纖薄世界紀(jì)錄，還具有大折疊滿血配置，并將AI與手機深度融合，搭載更為智慧化的使用方式。在護眼方面，此前在榮耀直板…07-02
榮耀Magic V5評測：輕薄新巔峰，全能AI折疊屏旗艦重塑標(biāo)準(zhǔn)在多設(shè)備聯(lián)動上，榮耀MagicV5還可以自家的大屏PC、智能手表、智能耳機等智能聯(lián)動，不僅支持手表解鎖手機功能以及一鍵鎖定手表，并支持雙向查找，AI體驗同步流轉(zhuǎn)，在榮耀手表5 Ultra上，也可以直接喚醒…07-02
榮耀Magic V5震撼登場：纖薄新紀(jì)錄，滿血配置，售價8999元起7月2日，榮耀推出了新一代旗艦大折疊手機——榮耀Magic V5，這款手機不僅再創(chuàng)多項大折疊手機纖薄世界紀(jì)錄，還具有大折疊滿血配置，并將AI與手機深度融合，搭載更為智慧化的使用方式。在護眼方面，此前在榮耀直板…07-02
榮耀Magic V5深度評測：輕薄新標(biāo)桿，AI折疊屏的全面進化07-02
榮耀Magic V5：超薄旗艦新標(biāo)桿，AI交互重塑大折疊體驗它的低溫與常溫性能差異大約在33.4%，也符合我們對于超薄大折疊的性能釋放預(yù)期，同時即便是有著如此嚴(yán)格的溫控策略，MagicV5的性能表現(xiàn)也依然要明顯高于那些使用老平臺的競爭對手。Magic V5不只是開創(chuàng)…07-02京東JoyInside攜AI潮玩來襲，攜手十余家機器人品牌打造智能生態(tài)07-02點擊查看更多 +全站最新
宇宙信使：揭秘玻璃隕石的奧秘與魅力
2025上半年機票均價740元，暑運旺季來臨價格上揚至839元
美波音737客機飛行中襟翼掉落 疑似墜入居民區(qū)車道
美波音737客機飛行中襟翼掉落 疑似墜入居民區(qū)車道
馬斯克旗下xAI Grok 4曝光，百億融資助力“重塑知識庫”計劃
豐田汽車上調(diào)零部件采購價，力保6萬家供應(yīng)商穩(wěn)定運營熱門內(nèi)容三星Galaxy Z Fold新機：7月9日震撼發(fā)布，16GB+1TB高配來襲榮耀Magic V5震撼發(fā)布：輕薄折疊旗艦，搭載6100mAh大電池與驍龍8至尊芯片中國移動新動作：九天人工智能科技公司成立，注冊資本高達(dá)20億榮耀Magic V5震撼發(fā)布：輕薄折疊旗艦，搭載6100mAh大電池與驍龍8至尊版榮耀Magic V5深度評測：輕薄新紀(jì)錄，AI折疊屏新標(biāo)桿榮耀Magic V5震撼發(fā)布：纖薄新紀(jì)錄，滿血配置售價8999元起
本文鏈接：http://www.rrqrq.com/showinfo-45-14354-0.htmlSciArena平臺亮相：科研人員親測，大語言模型科學(xué)文獻任務(wù)表現(xiàn)大比拼
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號