Find N3入網(wǎng)：最高支持16+1TB
OPPO將于近期登場的Find N3折疊屏目前已經(jīng)正式入網(wǎng)，型號為PHN110。本次Find N3在外觀方面相比前兩代有很大的變化，不再是小號的橫向折疊屏，而是跟別的廠商一樣采用了較為常見的
GPT-4的圖形推理能力，竟然連人類的一半都不到？
美國圣塔菲研究所的一項研究顯示，GPT-4做圖形推理題的準確率僅有33%。
而具有多模態(tài)能力的GPT-4v表現(xiàn)更糟糕，只能做對25%的題目。
△虛線表示16項任務的平均表現(xiàn)
這項實驗結果發(fā)表后，迅速在YC上引發(fā)了廣泛熱議。
贊同這項結果的網(wǎng)友表示，GPT確實不擅長抽象圖形處理，“位置”“旋轉”等概念理解起來更加困難。
但另一邊，不少網(wǎng)友對這個結論也有所質疑，簡單說就是：
不能說是錯的，但說完全正確也無法讓人信服。
至于具體的原因，我們繼續(xù)往下看。
GPT-4準確率僅33%
為了評估人類和GPT-4在這些圖形題上的表現(xiàn)，研究者使用了自家機構于今年5月推出的ConceptARC數(shù)據(jù)集。
ConceptARC中一共包括16個子類的圖形推理題，每類30道，一共480道題目。
這16個子類涵蓋了位置關系、形狀、操作、比較等多個方面的內(nèi)容。
具體而言，這些題目都是由一個個像素塊組成的，人類和GPT需要根據(jù)給定的示例尋找出規(guī)律，分析出圖像經(jīng)過相同方式處理后的結果。
作者在論文中具體展示了這16個子類的例題，每類各一道。
結果451名人類受試者平均正確率，在各子項中均不低于83%，16項任務再做平均，則達到了91%。
而GPT-4（單樣本）在“放水”到一道題可以試三次（有一次對就算對）的情況下，準確率高不超過60%，平均值只有33%。
早些時候，這項實驗涉及的ConceptARC Benchmark的作者也做過類似的實驗，不過在GPT-4中進行的是零樣本測試，結果16項任務的平均準確率只有19%。
而多模態(tài)的GPT-4v，準確率反而更低，在一個48道題組成的小規(guī)模ConceptARC數(shù)據(jù)集中，零樣本和單樣本測試的準確率分別只有25%和23%
而研究者在進一步分析了錯誤答案后，發(fā)現(xiàn)人類的有些錯誤看上去很可能是“粗心導致”，而GPT則是完全沒有理解題目中的規(guī)律。
針對這些數(shù)據(jù)，網(wǎng)友們普遍沒什么疑問，但讓這個實驗備受質疑的，是招募到的受試人群和給GPT的輸入方式。
受試者選擇方式遭質疑
一開始，研究者在亞馬遜的一個眾包平臺上招募受試者。
研究者從數(shù)據(jù)集中抽取了一些簡單題目作為入門測試，受試者需要答對隨機3道題目中的至少兩道才能進入正式測試。
結果研究人員發(fā)現(xiàn)，入門測試的結果顯示，有人只是想拿錢，但根本不按要求做題。
迫不得已，研究者將參加測試的門檻上調(diào)到了在平臺上完成過不少于2000個任務，且通過率要達到99%。
不過，雖然作者用通過率篩人，但是在具體能力上，除了需要受試者會英語，對圖形等其他專業(yè)能力“沒有特殊要求”。
而為了數(shù)據(jù)的多樣化，研究者在實驗后期又將招募工作轉到了另一個眾包平臺，終 一共有415名受試者參與了實驗。
盡管如此，還是有人質疑實驗中的樣本“不夠隨機”。
還有網(wǎng)友指出，研究者用來招募受試者的亞馬遜眾包平臺上，有大模型在冒充人類。
再來看GPT這邊的操作，多模態(tài)版本比較簡單，直接傳圖然后用這樣的提示詞就可以了：
零樣本測試中，則只要去掉相應的EXAMPLE部分。
但對于不帶多模態(tài)的純文本版GPT-4（0613），則需要把圖像轉化為格點，用數(shù)字來代替顏色。
針對這種操作，就有人表示不認同了：
把圖像轉換成數(shù)字矩陣后，概念完全變了，就算是人類，看著用數(shù)字表示的“圖形”，可能也無法理解
One More Thing
無獨有偶，斯坦福的華人博士生Joy Hsu也用幾何數(shù)據(jù)集測試了GPT-4v對圖形的理解能力。
這個數(shù)據(jù)集發(fā)表于去年，目的是測試大模型對歐氏幾何的理解，GPT-4v開放后，Hsu又用這套數(shù)據(jù)集給它測試了一遍。
結果發(fā)現(xiàn)，GPT-4v對圖形的理解方式，似乎“和人類完全不同”。
數(shù)據(jù)上，GPT-4v對這些幾何問題的回答也明顯不如人類。
本文鏈接：http://www.rrqrq.com/showinfo-17-32409-0.htmlGPT-4不會圖形推理嗎 “放水”后準確率依然只有33%
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：[email protected] 津ICP備18001702號
津公網(wǎng)安備 12010102000574號