官方承諾：K60至尊版將會首批升級MIUI 15
全新的MIUI 15今天也有了消息，在官宣了K60至尊版將會搭載天璣9200+處理器和獨顯芯片X7的同時，Redmi給出了官方承諾，K60至尊重大更新首批升級，會首批推送MIUI 15。也就是說雖然
OpenAI傳說中的“草莓”終于正式上線！
不僅可以勝任更復雜的推理任務，在數(shù)學、代碼和其他科學領域也能解決更難的問題。
OpenAI這次“無預警發(fā)布”震撼了科技圈，o1更是被CEO奧特曼稱它為了一種新范式的開始。
發(fā)布之后，各路大神和網(wǎng)友都紛紛用各種問題測試OpenAI o1的表現(xiàn)：
還有人進行了花式考驗，結果被o1強大的推理能力秀到了。
Q：你的回復中有幾個字？ A1：這句話有七個字 A2：一共五個字
量子位也進行了一番實測，下面就一起來了解。
推理能力大進化，但還是難敵弱智吧
該說不說，o1雖然在推理能力上取得了很大進步，但面對充滿心機的弱智吧問題，還是掉進了人類挖的陷阱。
當然了，對于正經(jīng)問題，o1的表現(xiàn)還是很強的，首先看看邏輯推理能力。
思考這道題時，preview和mini分別用時21秒和14秒，不過從文本上看mini思考得反而更多。
其中還出現(xiàn)了一些西里爾字母亂入，不過對整體影響不大。
終，二者也都給出了正確的答案——丙。
值得注意的是，mini（右）的解答當中還出現(xiàn)了修正的過程。
接下來看下o1在大學數(shù)理化題目上的表現(xiàn)。
首先是這道考研數(shù)學真題，涉及的知識點是曲面積分、高斯定理等內(nèi)容：
還是分別看下preview和mini的思考，可以看到mini的思考過程大概是preview的簡略版，當然速度也快了不少。
不過preview給的思考過程當中再次出現(xiàn)亂入，這次是泰語。
實際解答過程也是preview比mini更加詳細，不過不知道為什么preview用了英文回答。
后的計算結果化簡方式也有所不同，但數(shù)值上是相等的，而且也做對了。
對比4o這邊，先偷懶后作弊（調用了代碼解釋器），結果后答案還是錯的。
第二道數(shù)學題關于概率。
這道題preview依然是用英語進行了作答，步驟比mini更加詳細，當然都是對的。
而4o的答案前面的過程倒是基本都對，但是后一步的求解出現(xiàn)了問題，只給出了1這一個解，并且不是本題答案。
物理方面，這里選擇了一道大學物理中的光學題：
preview（左）和mini都給出了正確解答，內(nèi)容也基本一致。
化學的題目是一道物化題，主要涉及電化學等內(nèi)容。
這里把AgCl/Ag的標準電極電勢作為已知條件一同輸入給模型。
Preview（左）和mini大致的解題思路還是差不多，在計算步驟上有指對運算先后的差別，當然后的結果還是對的。
后一項測試就不再做考試題了，而是看看模型編寫代碼的能力如何。
這里選擇的題目難度非常高，真人的通過率只有14%。
以下是preview（左）和mini的解題思路：
從代碼上看，兩者核心邏輯相似，但在具體操作上略有區(qū)別。
兩套代碼均通過了測試，內(nèi)存消耗也比較接近，而mini給出的代碼運行時間更短（38毫秒）。
o1的編程能力除了用來解題，也可以快速構建出實用的應用程序。
知名AI配音工具ElevenLabs設計部門負責人Ammaar Reshi，就利用o1搭配Cursor Composer，用了不到10分鐘的時間制作了一款iOS天氣應用。
小數(shù)比較還是不會？
測試發(fā)現(xiàn)，對于大模型難以答對的名場面——小數(shù)比大小，preview（左）和mini都答不對。
甚至preview在思考過程中明明已經(jīng)提到過9.8比9.11大。
但同時preview在思考過程中表示，9.8和9.11有可能指的是日期，所以做不對也許另一原因。
針對這個問題，大神謝賽寧也曬出了他的測試結果，發(fā)現(xiàn)o1在思考過程中將9.8當成了重力常數(shù)，而9.11是一個“意義不明的數(shù)字”。
所以o1可能不是不會，而是把這個問題想復雜了。
為了進一步探究，我們把問題改得具體些，強調一下9.8和9.11都是數(shù)字，這下沒有了歧義之后就能一次做對了。
可以看出，提示詞的影響還是不小的。
由于o1在內(nèi)部采用了一些類思維鏈過程，因此prompt的設計和普通版本也有所區(qū)別，OpenAI官方發(fā)布了一則提示：
提示詞應簡單且直接
避免在提示詞中使用思維鏈
使用分隔符讓promot更清晰
控制RAG內(nèi)容的長度
回到我們的測試，面對其他幾個大模型敗北名場面，o1也有不小的進步。
比如在數(shù)字母的任務上就有所進化，即使是一串亂打的字母也能數(shù)對。
還有面對經(jīng)典的“反轉詛咒”（即知道A是B卻不知道B是A）問題，也終于一次性答對了Mary Lee Pfeiffer（湯姆·克魯斯的母親）的兒子是誰。
One More Thing
關于這次發(fā)布的o1，除了各個方面的成績之外，還有一些其他的發(fā)現(xiàn)。
比如前特斯拉自動駕駛負責人、兩度進入OpenAI又兩度離職的大神Andrej Karpathy發(fā)現(xiàn)，o1-mini在被要求證明黎曼猜想的時候出現(xiàn)了拒絕回答的情況，表示大模型“犯懶”依然是一個大問題。
還有網(wǎng)友說覺得mini的表現(xiàn)比preview好，想問下有沒有人知道原因或者有啥看法。
這條消息也把奧特曼吸引了過來，回復了一句“Yes I have one”。
根據(jù)OpenAI內(nèi)部員工Kevin Lu發(fā)布的一則推文來看，mini的性價比確實比preview更高。
根據(jù)這張圖顯示，preview版本論性能比不上尚未公布的滿血o1，論經(jīng)濟性又比不上mini。
順便提一句，preview版本存在消息數(shù)量限制，并且數(shù)量是按周進行重置的，幾輪測試下來已經(jīng)快要用盡了。
本文鏈接：http://www.rrqrq.com/showinfo-17-113883-0.html實測OpenAI強模型o1：會做大學數(shù)理化 但弱智吧依然難解
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：[email protected] 津ICP備18001702號
津公網(wǎng)安備 12010102000574號