【ITBEAR】9月25日消息，近日，亞利桑那州立大學(xué)的科研團隊利用PlanBench基準對OpenAI的o1模型進行了規(guī)劃能力的測試。測試結(jié)果顯示，盡管o1模型在某些方面取得了顯著的進步，但其仍然存在較大的局限性。Ez228資訊網(wǎng)——每日最新資訊28at.com

PlanBench基準于2022年開發(fā)，主要用于評估人工智能系統(tǒng)在規(guī)劃方面的能力。該基準包含了600個來自Blocksworld領(lǐng)域的任務(wù)，要求積木必須按照特定的順序進行堆疊。Ez228資訊網(wǎng)——每日最新資訊28at.com

據(jù)ITBEAR了解，在Blocksworld任務(wù)中，OpenAI的o1模型展現(xiàn)出了驚人的表現(xiàn)，其準確率高達97.8%，遠遠超過了之前的最佳語言模型LLaMA 3.1 405B的62.6%。在更具挑戰(zhàn)性的“Mystery Blocksworld”加密版本中，傳統(tǒng)模型幾乎全部失敗，而o1模型的準確率仍能達到52.8%。Ez228資訊網(wǎng)——每日最新資訊28at.com

為了驗證o1模型的性能是否源于其訓(xùn)練集中的基準數(shù)據(jù)，研究人員還測試了一種新的隨機變體。在這次測試中，o1模型的準確率降至37.3%，但仍遠超其他得分接近零的模型。Ez228資訊網(wǎng)——每日最新資訊28at.com

然而，隨著任務(wù)的復(fù)雜性增加，o1模型的表現(xiàn)也急劇下降。在需要20到40個規(guī)劃步驟的問題上，o1模型在較簡單測試中的準確率從97.8%驟降至23.63%。此外，該模型在識別無法解決的任務(wù)方面也顯得力不從心，只有27%的時間能夠正確識別，而在54%的情況下，它錯誤地生成了完整但不可能完成的計劃。Ez228資訊網(wǎng)——每日最新資訊28at.com

盡管o1模型在基準性能上實現(xiàn)了顯著的改進，但它并不能保證解決方案的正確性。與經(jīng)典的規(guī)劃算法相比，如快速向下算法，這些算法可以在更短的計算時間內(nèi)實現(xiàn)完美的準確性。Ez228資訊網(wǎng)——每日最新資訊28at.com

研究還指出，o1模型的高資源消耗是一個不容忽視的問題。運行這些測試需要花費近1900美元，而經(jīng)典算法在標準計算機上運行則幾乎不需要任何成本。Ez228資訊網(wǎng)——每日最新資訊28at.com

研究人員強調(diào)，對人工智能系統(tǒng)進行公平比較時，必須綜合考慮準確性、效率、成本和可靠性。他們的研究結(jié)果表明，盡管像o1這樣的人工智能模型在復(fù)雜推理任務(wù)方面取得了進步，但這些能力仍然有待提升。Ez228資訊網(wǎng)——每日最新資訊28at.com

關(guān)鍵詞：#OpenAI o1模型# #規(guī)劃能力測試# #PlanBench基準# #局限性# #資源消耗#Ez228資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.rrqrq.com/showinfo-45-7677-0.htmlOpenAI o1模型實測：PlanBench規(guī)劃能力，準確率高達97.8%！

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：[email protected]

上一篇： 明年4月，半價iPhone登場？搭載最新芯片引關(guān)注！

下一篇： 百度百舸AI計算平臺4.0發(fā)布，模型訓(xùn)練效率逼近極限？