清華、北大等86所高校布局元宇宙，是風口還是噱頭？
作者：徐賜豪來源：區塊鏈日報據全國高校人工智能與大數據創新聯盟元宇宙專委會不完全統計，截至2023年7月，全國共有86所高校戰略布局元宇宙領域，其中本科院校73所，高職專科院校13所
在AI界的一次意外曝光中，一篇看似不起眼的博客文章竟成為了打開OpenAI大門的鑰匙。近日，AI云服務商Hyperbolic的聯合技術官Yuchen Jin在社交媒體上透露，研究員Keller Jordan僅憑一篇關于新型神經網絡優化器Muon的博客，便成功加入了OpenAI，并疑似參與到了GPT-5的研發中。
Jin的這一爆料迅速引起了業界的廣泛關注。據悉，Keller Jordan的這篇博客發布于2024年12月，題為《Muon：神經網絡隱藏層的優化器》。文章詳細介紹了Muon的設計原理及其在實際應用中的表現，特別是在提高訓練速度方面的顯著成果。
Keller Jordan在博客中提到，Muon是一個專門針對神經網絡隱藏層二維參數的優化器。它通過結合SGD-momentum生成的更新，并應用牛頓-舒爾茨迭代法作為后處理步驟，來優化這些參數。這種方法使得更新矩陣近似正交化，從而提高了訓練效率。
實驗結果顯示，Muon在多個任務上都取得了顯著的速度提升。例如，在CIFAR-10數據集上，它將訓練速度記錄從3.3秒提高到了2.6秒，準確率保持在94%。在NanoGPT快速運行競賽任務FineWeb上，Muon也將訓練速度記錄提高了1.35倍。在擴展到更大規模參數時，Muon也繼續顯示出訓練速度的提升。
Keller Jordan在文章中還批判了當前神經網絡優化研究中的一些不良現象，特別是糟糕的基線和過度宣傳的新方法。他強調，許多聲稱能夠擊敗AdamW的優化器在實際應用中并未能達到預期效果，這主要是因為這些研究在比較時往往沒有充分調整AdamW基線。
Keller Jordan加入OpenAI的時間恰好是在他發布這篇博客之后。這一巧合不禁讓人猜測，Muon優化器很可能正是他加入OpenAI的敲門磚。而鑒于OpenAI在GPT-5研發上的投入和期望，Muon很有可能成為這一劃時代大模型中的重要技術之一。
然而，盡管Muon已經取得了顯著的成果，但仍有許多問題有待解決。例如，Muon是否可以擴展到更大規模的訓練？是否能在大型GPU集群中正確分布其使用的牛頓-舒爾茨迭代？以及Muon是否僅適用于預訓練，而不適用于微調或強化學習工作負載？這些問題或許在GPT-5的研究中已經得到了答案，但業界仍需持續關注Muon的發展和應用。
總的來說，Keller Jordan的這篇博客不僅為神經網絡優化研究帶來了新的思路和方法，也為他個人的職業生涯開啟了新的篇章。而Muon優化器作為這一研究的成果，無疑將在未來的AI發展中發揮重要作用。
智啟醫療未來，共筑湖口衛健網絡安全新防線江西?民生?新聞?訊?為進一步提升全縣衛健系統網絡安全防護水平，推動人工智能新技術在衛生健康行業的規范應用，6月13日下午，湖口縣衛健系統網絡安全培訓會在湖口縣中醫醫院舉行。 此次培訓會的成功舉辦，為湖口縣…06-17
黃仁勛論AI與就業：程序員或淘汰，但就業恐慌大可不必06-17
iOS 26測試版來了！如何免費獲取并安裝嘗鮮？iOS 26 測試版是蘋果在 2025 年 WWDC 大會上發布的下一代 iPhone操作系統的預發布版本。 是的，iOS 26測試版，包括開發者測試版，現在是免費的。 返回“軟件更新”界面，iOS 26…06-17
榮耀CEO李健國內首亮相：發布“全球百萬雄鷹計劃”，引領AI終端生態轉型5月28日晚，在榮耀400系列新品發布會上，榮耀新任CEO李健首次亮相國內發布會，并發表《真實就是力量》主題演講，用三個真實故事闡述“榮耀三部曲”：回歸真實，釋放潛能，自我超越。會上，李健官宣“全球百萬雄鷹計…06-17
河北斥資3億打造數據新貴，涉足大數據與AI領域06-17
華為WATCH 5：科技美學與健康智能新典范，2025年智能手表首選它融合未來科技美學設計，將時尚與科技完美交融；搭載鴻蒙智能與AI融合大模型，帶來更智能、便捷的操作體驗；具備AI賦能的智慧健康監測功能，為用戶的健康保駕護航；在手勢和智感窗交互方面創新不斷，讓操作更加自然流暢…06-17
小布助手全面進化，月活用戶突破1.5億，OPPO AI戰略成果顯著2023年，基于OPPO自主訓練的安第斯大模型的全面賦能，小布助手在AI通話摘要、全局自然對話等方面迎來體驗突破，成為深受用戶喜愛的專屬AI伙伴；2024年1月，隨著生成式AI的全面爆發，OPPO憑借多年來在…06-17
AI手機浪潮來襲！2025年全球滲透率預計達34%【環球網科技綜合報道】6月9日消息，Canalys最新發布的報告顯示，預計2025年全球AI手機滲透率將達到34%，端側模型的精簡以及芯片算力的升級將進一步助推AI手機向中端價位段滲透。 Canalys方面表…06-17
小布助手月活破1.5億，引領AI手機時代，DeepSeek融合再升級2023年，基于OPPO自主訓練的安第斯大模型的全面賦能，小布助手在AI通話摘要、全局自然對話等方面迎來體驗突破，成為深受用戶喜愛的專屬AI伙伴；2024年1月，隨著生成式AI的全面爆發，OPPO憑借多年來在…06-17
英電信CEO：人工智能或致更多裁員，未來崗位縮減計劃升級？作為英國最大的寬帶服務提供商，BT于2023年宣布裁員計劃，旨在縮小企業規模，其中包括減少合同工數量。柯克比去年接任首席執行官后，積極推進公司業務精簡，不僅出售了意大利業務以及愛爾蘭的批發和企業部門，還將業…06-17
聚象生活APP即將上市：農業數字化投資新機遇來臨國家大力推動新農業發展，旨在通過數字化、智能化手段，提升農業生產效率，保障農產品安全，實現農業可持續發展。正是在這樣的時代背景下，“聚象生活”應運而生，它不僅是一款基于區塊鏈技術的新農業購買和轉讓商城，更是一…06-17
火山引擎崛起，字節跳動如何在AI云時代“變奏”領跑？在火山引擎的這次大會上，有一個觀點讓我印象深刻，他們認為模型以及模型調用工具的這一整套的規劃能力，決定了跑在上面的 Agent 能不能成功。那么，我們可以順著這個邏輯，來推演火山引擎在 AI 時代做云業務…06-17
麥芒40新機大揭秘：5000萬像素主攝搭配6100mAh電池，設計如何？【CNMO科技消息】據CNMO了解，近日有博主曝光了麥芒40新機的外觀設計和配置，包括5000萬像素主攝和6100mAh電池等。從其放出的草圖來看，手機背面似乎采用了上下拼接設計，上方的鏡頭模組較大，左邊大圓…06-17
火山引擎AI大模型引領，灣區產業升級新篇章等你來探索！深圳市物聯網產業協會自成立以來，為深圳市物聯網產業高質量發展做出了許多貢獻，主要為舉辦IOTE 國際物聯網博覽會，全面提升深圳物聯網產業的影響力（每年影響10萬+人次）、搭建行業需求對接平臺激發市場活力（每…06-17科創創業AI指數報1457點，前十大權重股曝光，石頭科技等領銜數據統計顯示，中證科創創業人工智能指數近一個月下跌1.35%，近三個月下跌9.88%，年至今上漲1.73%。 據了解，中證科創創業人工智能指數從科創板和創業板中選取50只業務涉及為人工智能提供基礎資源、技術…06-17點擊查看更多 +全站最新
iPhone 17 Pro系列大升級！天藍色新配色與多項性能革新亮相
石頭科技2024年度權益分派實施，多圖揭秘分配詳情！
富士X-E5沉浸式體驗來襲，X-Pro系列也即將回歸？
小米YU7來襲！雷軍官宣6月底發布，設計爭議能否影響其市場表現？
一加Nord 5、CE 5及Buds 4海外發布在即，高配版電池達7000mAh
小米高速吹風機PRO，短發星人新寵？體驗后直呼：真香！熱門內容智啟醫療未來，共筑湖口衛健網絡安全新防線黃仁勛論AI與就業：程序員或淘汰，但就業恐慌大可不必iOS 26測試版來了！如何免費獲取并安裝嘗鮮？榮耀CEO李健國內首亮相：發布“全球百萬雄鷹計劃”，引領AI終端生態轉型河北斥資3億打造數據新貴，涉足大數據與AI領域華為WATCH 5：科技美學與健康智能新典范，2025年智能手表首選
本文鏈接：http://www.rrqrq.com/showinfo-45-13804-0.html一篇博客敲開OpenAI大門，Muon優化器或成GPT-5訓練關鍵？
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：[email protected]
上一篇： 智啟醫療未來，共筑湖口衛健網絡安全新防線
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：[email protected] 津ICP備18001702號
津公網安備 12010102000574號