一項(xiàng)名為“ClockBench”的全新測(cè)試揭示,人類在讀取指針式時(shí)鐘方面的準(zhǔn)確率高達(dá)89.1%,而當(dāng)前最先進(jìn)的人工智能模型準(zhǔn)確率僅為13.3%。這一差距凸顯了AI在視覺(jué)推理能力上與人類的顯著差異,尤其是在處理復(fù)雜視覺(jué)信息時(shí),AI的表現(xiàn)遠(yuǎn)未達(dá)到預(yù)期水平。
![]()
該測(cè)試由研究者阿萊克·薩法爾設(shè)計(jì),旨在通過(guò)定制化的指針式時(shí)鐘數(shù)據(jù)集,評(píng)估AI在視覺(jué)推理任務(wù)中的表現(xiàn)。測(cè)試中,來(lái)自6家企業(yè)的11個(gè)大型語(yǔ)言模型與5名人類參與者展開(kāi)對(duì)比。數(shù)據(jù)集包含180個(gè)獨(dú)特的指針式時(shí)鐘,涵蓋36種鐘面設(shè)計(jì),融合了羅馬數(shù)字與阿拉伯?dāng)?shù)字、不同朝向、時(shí)針標(biāo)識(shí)、鏡像布局及彩色背景等元素,確保測(cè)試的復(fù)雜性和多樣性。
每個(gè)時(shí)鐘需通過(guò)四類問(wèn)題測(cè)試:讀取時(shí)間、時(shí)間計(jì)算、按特定角度調(diào)整指針及時(shí)區(qū)轉(zhuǎn)換。為保證公平性,數(shù)據(jù)集從零構(gòu)建,避免與模型訓(xùn)練數(shù)據(jù)重疊。測(cè)試結(jié)果顯示,AI模型在讀取時(shí)間時(shí)的中位誤差達(dá)1小時(shí),而人類的中位誤差僅為3分鐘。性能最差的AI模型誤差甚至接近3小時(shí),幾乎與隨機(jī)猜測(cè)無(wú)異。
在參與測(cè)試的AI模型中,谷歌旗下的Gemini 2.5 Pro以13.3%的準(zhǔn)確率位居榜首,Gemini 2.5 Flash和GPT-5分別以10.5%和8.4%的準(zhǔn)確率緊隨其后。然而,Grok 4模型的表現(xiàn)令人意外,其準(zhǔn)確率僅0.7%,且將63.3%的時(shí)鐘判定為“無(wú)效”,遠(yuǎn)高于實(shí)際無(wú)效時(shí)鐘的比例(180個(gè)中僅37個(gè))。這種過(guò)度謹(jǐn)慎的策略雖在技術(shù)上增加了正確答案數(shù)量,但并未真正提升模型能力。
![]()
測(cè)試還發(fā)現(xiàn),鐘面特征對(duì)AI判斷影響顯著。當(dāng)鐘面采用羅馬數(shù)字時(shí),AI準(zhǔn)確率驟降至3.2%;采用圓形數(shù)字時(shí),準(zhǔn)確率也僅為4.5%。秒針、彩色背景及鏡像布局均會(huì)干擾AI的判斷。相比之下,僅含時(shí)針的時(shí)鐘(準(zhǔn)確率23.6%)和采用阿拉伯?dāng)?shù)字的標(biāo)準(zhǔn)時(shí)鐘,能讓AI取得相對(duì)更好的成績(jī)。
一個(gè)意外發(fā)現(xiàn)是,AI模型在成功讀取時(shí)間后,能正確完成時(shí)間計(jì)算、指針調(diào)整或時(shí)區(qū)轉(zhuǎn)換任務(wù)。這表明,AI的挑戰(zhàn)并非在于時(shí)間相關(guān)的數(shù)學(xué)運(yùn)算,而在于從視覺(jué)信息中提取時(shí)間的初始步驟。薩法爾分析,原因可能包括:指針式時(shí)鐘讀取對(duì)視覺(jué)推理能力要求極高;罕見(jiàn)或特殊的鐘面設(shè)計(jì)在訓(xùn)練數(shù)據(jù)中極少出現(xiàn);以及將視覺(jué)信息轉(zhuǎn)化為文字描述對(duì)當(dāng)前AI模型而言難度較大。
ClockBench被定位為長(zhǎng)期基準(zhǔn)測(cè)試,其完整數(shù)據(jù)集目前保密,以避免污染未來(lái)AI的訓(xùn)練過(guò)程,但已有一個(gè)公開(kāi)版本供測(cè)試使用。盡管AI在該測(cè)試中得分普遍較低,薩法爾認(rèn)為,性能最佳的模型已展現(xiàn)出基礎(chǔ)的視覺(jué)推理能力,優(yōu)于隨機(jī)猜測(cè)。然而,這些能力能否通過(guò)擴(kuò)大現(xiàn)有方法規(guī)模提升,還是需要全新技術(shù)路徑突破,仍是一個(gè)待解的問(wèn)題。
此前,中國(guó)一項(xiàng)研究也曾發(fā)現(xiàn)多模態(tài)語(yǔ)言模型存在類似短板,但當(dāng)時(shí)GPT-4o模型在包含“讀時(shí)鐘、讀儀表”的任務(wù)中準(zhǔn)確率達(dá)54.8%。此次ClockBench測(cè)試中,AI最高準(zhǔn)確率僅為13.3%,既表明新基準(zhǔn)測(cè)試難度顯著提升,也反映出AI在時(shí)鐘讀取能力上并未取得明顯進(jìn)步。
更多>同類資訊?OpenAI未來(lái)六年算力與研發(fā)投入或達(dá)3500億美元,2030年盈利穩(wěn)定性存疑?09-14
海馬emoji是否存在?ChatGPT等AI深陷“記憶迷局”反復(fù)糾錯(cuò)難自明09-14
螞蟻開(kāi)源聯(lián)合Inclusion AI發(fā)布大模型生態(tài)全景圖,呈現(xiàn)AI開(kāi)源新特征與三大開(kāi)發(fā)趨勢(shì)09-14
OpenAI稱GPT-5有博士級(jí)能力,谷歌DeepMind CEO:尚缺全面博士能力,AGI或需5到10年09-14
缺錢(qián)仍具洞察:陶哲軒直指AI在數(shù)學(xué)研究中隱性目標(biāo)被忽視之困09-14谷歌DeepMind CEO:當(dāng)前AI系統(tǒng)難達(dá)博士級(jí),GPT-5綜合能力被指差距大09-14OpenAI 2024-2030年擬投巨資:算力租賃與研發(fā)成本高企,盈利前景存疑09-14
岳麓大會(huì)十二年:從“閉門(mén)論道”到“鏈上生長(zhǎng)”,湖南數(shù)字生態(tài)如何崛起?09-14谷歌DeepMind CEO:當(dāng)前AI系統(tǒng)難達(dá)博士級(jí),GPT-5能力被指夸大09-14
新學(xué)期新氣象!北京1400余所中小學(xué)全學(xué)段開(kāi)設(shè)人工智能通識(shí)課09-14
宇樹(shù)王興興福耀科大開(kāi)講:AI時(shí)代機(jī)遇均等,新生當(dāng)懷熱忱逐夢(mèng)前行09-14
螞蟻開(kāi)源2025外灘大會(huì)發(fā)布大模型全景圖,AI開(kāi)發(fā)現(xiàn)三大趨勢(shì):工具、路線與生態(tài)分化月 13 日,在 2025 Inclusion·外灘大會(huì)AI開(kāi)源見(jiàn)解論壇上,螞蟻開(kāi)源聯(lián)合Inclusion AI 發(fā)布了全新的《全球大模型開(kāi)源開(kāi)發(fā)生態(tài)全景與趨勢(shì)告》。本次發(fā)布的大模型開(kāi)源開(kāi)發(fā)生態(tài)全景圖共收錄了…09-14
?對(duì)話京東方陳炎順:AI驅(qū)動(dòng)產(chǎn)業(yè)升級(jí),未來(lái)三年500億研發(fā)攜手伙伴共拓新局?“早在2024年初,京東方就將AI提高到了企業(yè)的整體發(fā)展戰(zhàn)略”,陳炎順對(duì)作者表示,“一方面我們成立了AI+創(chuàng)新與應(yīng)用委員會(huì),要求以營(yíng)業(yè)收入的0.5%來(lái)用于AI的研發(fā)。 陳炎順指出,從CES到SID等國(guó)際展會(huì)上…09-14
OpenAI奧爾特曼坦言:ChatGPT問(wèn)世后,模型細(xì)微調(diào)整牽動(dòng)數(shù)億人思維行為致其難眠9月14日消息,據(jù)《財(cái)富》報(bào)道,OpenAI CEO 薩姆·奧爾特曼在接受采訪時(shí)表示,“自從 ChatGPT 推出以來(lái),我就沒(méi)睡過(guò)一個(gè)好覺(jué)。” 奧爾特曼描述了監(jiān)管這項(xiàng)如今每天有數(shù)億人使用的技術(shù)的壓力,他擔(dān)憂的…09-14
上海創(chuàng)智學(xué)院:90后導(dǎo)師領(lǐng)航 博士CEO逐夢(mèng) 機(jī)器人奇境挑戰(zhàn)未來(lái)2023年,劉鵬飛完成美國(guó)博后工作回國(guó)加盟上海交通大學(xué),去年以雙聘的形式加盟創(chuàng)智學(xué)院,他深深感受時(shí)代的機(jī)遇正在眼前——“三個(gè)低概率事件”交匯:智能革命的發(fā)生、創(chuàng)智學(xué)院模式的獨(dú)一無(wú)二,學(xué)院對(duì)師生資源的傾斜。就…09-14點(diǎn)擊查看更多 +全站最新
鴻蒙智行MPV新車諜照現(xiàn)身 智界品牌或迎新成員 明年上半年有望上市
岳麓大會(huì)十二年:從“閉門(mén)論道”到“鏈上生長(zhǎng)”,湖南數(shù)字生態(tài)如何崛起?
抖音圖文創(chuàng)作新思路:精選素材+用心運(yùn)營(yíng),輕松開(kāi)啟自媒體變現(xiàn)路!
方形CMOS加持!iPhone 17前置攝像頭如何打破自拍構(gòu)圖限制?
?杭州全球農(nóng)創(chuàng)客大賽落幕:AI養(yǎng)豬、超濾凈水,青年科技繪就農(nóng)業(yè)新藍(lán)圖?
億級(jí)賣家吞吞揭秘:TikTok美區(qū)直播如何選渠道、控成本、定布局?熱門(mén)內(nèi)容
岳麓大會(huì)十二年:從“閉門(mén)論道”到“鏈上生長(zhǎng)”,湖南數(shù)字生態(tài)如何崛起?
新學(xué)期新氣象!北京1400余所中小學(xué)全學(xué)段開(kāi)設(shè)人工智能通識(shí)課
宇樹(shù)王興興福耀科大開(kāi)講:AI時(shí)代機(jī)遇均等,新生當(dāng)懷熱忱逐夢(mèng)前行
螞蟻開(kāi)源2025外灘大會(huì)發(fā)布大模型全景圖,AI開(kāi)發(fā)現(xiàn)三大趨勢(shì):工具、路線與生態(tài)分化
?對(duì)話京東方陳炎順:AI驅(qū)動(dòng)產(chǎn)業(yè)升級(jí),未來(lái)三年500億研發(fā)攜手伙伴共拓新局?
OpenAI奧爾特曼坦言:ChatGPT問(wèn)世后,模型細(xì)微調(diào)整牽動(dòng)數(shù)億人思維行為致其難眠
本文鏈接:http://www.rrqrq.com/showinfo-45-27565-0.html新研究:人類讀指針鐘準(zhǔn)確率近九成,頂尖AI模型準(zhǔn)確率僅一成多
聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com
上一篇: 美國(guó)最大出版商CEO控訴谷歌:用單一爬蟲(chóng)抓內(nèi)容助力AI,卻讓出版商陷入困境
下一篇: ?OpenAI未來(lái)六年算力與研發(fā)投入或達(dá)3500億美元,2030年盈利穩(wěn)定性存疑?