新周期，誰在堅守窄門？
來源：錦緞今日的投資者恐怕已經忘記了，在OpenAI創造出ChatGPT這一殺器的前夜，生成式AI也曾經是一道窄門，窄到連馬斯克都差點失去了信心。在當時的輿論眼中，AGI的道路不夠性感，不夠
幾千人盲投，Kimi K2 超越 DeepSeek 拿下全球開源第一！
歪果網友們直接炸了，評論區秒變夸夸打卡現場：
今天，競技場終于更新了 Kimi K2 的排名情況 ——
開源第一，總榜第五，而且緊追馬斯克 Grok 4 這樣的頂尖閉源模型。
并且各類單項能力也不差，能和一水兒閉源模型打得有來有回：
連續多輪對話并列第一，o3 和 Grok 4 均為第四；
編程能力第二，和 GPT 4.5、Grok 4 持平；
應對復雜提示詞能力第二，和 o3、4o 位于同一梯隊；
……
甚至眼尖的朋友也發現了，唯二闖入總榜 TOP 10 的開源模型都來自中國。（DeepSeek R1 總榜第 8）
當然了，即使拋開榜單不談，Kimi 這款新模型過去一周也確實火熱 ——
K2 過去一周真熱啊公開可查戰績包括但不限于下面這些：
從實打實的數據來看，發布這一周里，Kimi K2 在開源社區就獲得了相當關注度和下載量。
GitHub 標星 5.6K，Hugging Face 下載量近 10 萬，這還不算它在中國社區的應用。
連 AI 搜索引擎明星創企 Perplexity CEO 也親自為它站臺，并透露：
Kimi K2 在內部評估中表現出色，Perplexity 計劃接下來基于 K2 模型進行后訓練。
甚至由于訪問的用戶太多了，逼得 Kimi 官方也出來發公告：
訪問量大 + 模型體積大，導致 API 過慢。
……
不過就在一片向好之時，人們關于“Kimi K2 采用了 DeepSeek V3 架構”的質疑聲再度升溫。
對此，我們也找到了 Kimi 團隊成員關于 K2 架構的相關回應。
總結下來就是，確實繼承了 DeepSeek V3 的架構，不過后續還有一系列參數調整。
p.s. 以下分享均來自知乎 @劉少偉，內容經概括總結如下~
一開始，他們嘗試了各種架構方案，結果發現 V3 架構是最能打的（其他頂多旗鼓相當）。
所以問題就變成了，要不要為了不同而不同？
經過深思熟慮，團隊給出了否定答案。理由有兩點：
一是 V3 架構珠玉在前且已經經過大規模驗證，沒必要強行“標新立異”；二是自己和 DeepSeek 一樣，訓練和推理資源非常有限，而經過評估 V3 架構符合相關成本預算。
所以他們選擇了完全繼承 V3 架構，并引入適合自己的模型結構參數。
具體而言，K2 的結構參數改動有四點：
增加專家數量：團隊驗證了在激活參數量不變的情況下，MoE 總參數增加仍有益于 loss 下降。
注意力頭 head 數減半：減少 head 數節省的成本，剛好抵消 MoE 參數變大帶來的開銷，且效果影響很小。
只保留第一層 Dense：只保留第一層為 dense，其余都用 MoE，結果對推理幾乎無影響。
專家無分組：通過自由路由 + 動態重排（EPLB）可以應對負載不均衡，同時讓專家組合更靈活，模型能力更強。
最終得到的推理方案就是，在相同專家數量下：
雖然總參數增大到 1.5 倍，但除去通信部分，理論的 prefill 和 decode 耗時都更小。即使考慮與通信 overlap 等復雜因素，這個方案也不會比 V3 有顯著的成本增加。
就是說，這是一種更“精打細算”的結構調優。
而且這種放棄自己的模型架構路線，徹底走 DeepSeek 路線的做法，也被國內網友評價為“相當大膽”。
△ 來源：知乎網友 @蛙哥
OK，以上關于 Kimi 和 DeepSeek 架構之爭的問題落定后，我們再把目光拉回到這次最新排名。
開源追平 or 超越閉源 ing一個很明顯的趨勢是：「開源 = 性能弱」的刻板印象正在被打破，開源模型已經越來越厲害了。
不僅榜單上的整體排名在上升，而且分數差距也越來越小。
仔細看，模型 TOP 10 總分均為 1400+，開源和閉源幾乎可以看成位于同一起跑線。
而且這次拿下開源第一的 Kimi K2，總分已經非常接近 Grok 4、GPT 4.5 等頂尖閉源模型了。
換句話說，以前我們可能還要在模型能力和成本之間作取舍，但隨著開源力量的崛起，多思考一秒鐘都是對開源的不尊重（doge）。
與此同時，越來越多的行業人士也表達了對開源崛起的判斷。
艾倫人工智能研究所研究科學家 Tim Dettmers 表示：
開源擊敗閉源將變得越來越普遍。
Perplexity CEO 也多次在公開場合表示：
開源模型將在塑造 AI 能力的全球擴散路徑中扮演重要角色。它們對于因地制宜地定制和本地化 AI 體驗至關重要。
而在已經逐漸崛起的開源模型領域，TOP 10 中唯二開源、且都是國產模型的含金量還在上升。
參考鏈接：
[1]https://x.com/lmarena_ai/status/1945866381880373490
[2]https://www.zhihu.com/question/1927140506573435010/answer/1927892108636849910
[3]https://zhuanlan.zhihu.com/p/1928863438324623337
本文來自微信公眾號：量子位（ID：QbitAI），作者：一水
本文鏈接：http://www.rrqrq.com/showinfo-45-14683-0.htmlDeepSeek 丟了開源第一王座，但繼任者“Kimi K2”依然來自中國
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號