AI 不過(guò)周末，硅谷也是如此。大周日的，Llama 家族上新，一群 LIama 4 就這么突然發(fā)布了。
這是 Meta 首個(gè)基于 MoE 架構(gòu)模型系列，目前共有三個(gè)款：
Llama 4 Scout、Llama 4 Maverick、Llama 4 Behemoth。
最后一個(gè)尚未推出，只是預(yù)告，但 Meta 已經(jīng)毫不避諱地稱(chēng)前兩者是“我們迄今為止最先進(jìn)的型號(hào)，也是同類(lèi)產(chǎn)品中最好的多模態(tài)型號(hào)”。
詳細(xì)來(lái)看一些關(guān)鍵詞 ——
Llama 4 Scout，16 位專(zhuān)家的 170 億激活參數(shù)的多模態(tài)模型，單個(gè) H100 GPU 可運(yùn)行，同類(lèi) SOTA，并擁有 10M 上下文窗口。
Llama 4 Maverick，128 位專(zhuān)家的 170 億激活參數(shù)多模態(tài)模型，擊敗 GPT-4o 和 Gemini 2.0 Flash，與 DeepSeek-V3 同等代碼能力參數(shù)只要一半，主打與 DeepSeek 一樣的性?xún)r(jià)比，單個(gè) H100 主機(jī)即可運(yùn)行。
Llama 4 Behemoth：2 萬(wàn)億參數(shù)的超大超強(qiáng)模型，以上二者都由這個(gè)模型蒸餾而來(lái)；目前還在訓(xùn)練中；多個(gè)基準(zhǔn)測(cè)試超過(guò) GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro。
Meta 官推激情表示，這些 Llama 4 模型標(biāo)志著 Llama 生態(tài)系統(tǒng)新時(shí)代 —— 原生多模態(tài) AI 創(chuàng)新的開(kāi)始。
與此同時(shí)，大模型競(jìng)技場(chǎng)排名迎來(lái)一輪更新。
此次發(fā)布的 Llama 4 Maverick，在困難提示、編碼、數(shù)學(xué)、創(chuàng)意寫(xiě)作方面并列第一；得分 1417，不僅大大超越了此前 Meta 自家的 Llama-3-405B（提升了 149 分），還成為史上第 4 個(gè)突破 1400 分的模型；。
而且跑分明確 —— 超越 DeepSeek-V3，實(shí)現(xiàn)亮相即登頂，直接成為排名第一的開(kāi)源模型。
谷歌 CEO 劈柴哥第一時(shí)間發(fā)來(lái)賀電：
AI 世界，從不平淡！
恭喜呀！前進(jìn)吧，Llama 4 團(tuán)隊(duì)！
了解了 Llama 4 家族全體成員后，我們先來(lái)見(jiàn)識(shí)一下首批發(fā)布的 2 個(gè)模型：
中杯
：Llama 4 Scout（偵查兵 Llama 4）。
大杯
：Llama 4 Maverick（特立獨(dú)行的 Llama 4）。
兩者均已能在 Llama 官網(wǎng)和抱抱臉上下載。
我們抓取并提煉出這倆模型的一些特點(diǎn)：
Meta 首批 MoE 架構(gòu)模型這是 Llama 系列，第一批使用 MoE（混合專(zhuān)家模型）構(gòu)建的模型。
中杯 Llama 4 Scout 有 17B 激活參數(shù)，擁有 16 個(gè)專(zhuān)家模型。
大杯 Llama 4 Maverick 擁有 17B 激活參數(shù)，擁有 128 個(gè)專(zhuān)家模型。
至于還沒(méi)和大家正式見(jiàn)面的超大杯 Llama 4 Maverick，擁有 288B 激活參數(shù)，擁有 16 個(gè)專(zhuān)家模型。
非常長(zhǎng) ———— 的上下文Llama 4 系列，均具有很長(zhǎng)的上下文窗口。
這一點(diǎn)主要體現(xiàn)在 Meta 公布的中杯 Llama 4 Scout 的詳細(xì)數(shù)據(jù)里：
Llama 4 Scout 提供了行業(yè)領(lǐng)先的 100 萬(wàn)上下文窗口。
經(jīng)過(guò)預(yù)訓(xùn)練和后訓(xùn)練，Llama 4 Scout 長(zhǎng)度為 256K，這使基本模型具有高級(jí)長(zhǎng)度泛化能力。
這個(gè)配置，讓它在廣泛的測(cè)評(píng)集上，比 Gemma 3、Gemini 2.0 Flash-Lite 和 Mistral 3.1 的結(jié)果更優(yōu)秀。
它在「大海撈針」測(cè)試上的表現(xiàn)如下：
結(jié)果如下：
那么之前的 Llama 系列模型的上下文窗口情況呢？
Llama 1，上下文窗口為 2k；
Llama 2，上下文窗口默認(rèn)為 4k，但可以通過(guò)微調(diào)等可以拓展到 32k；
Llama 3，上下文窗口是 8k，后來(lái) Llama 3.1 的長(zhǎng)文本能力拓展到了 128k。
Meta 官方博客中是這么寫(xiě)的：
（Llama 4 的長(zhǎng)上下文）開(kāi)辟了一個(gè)充滿(mǎn)可能性的世界，包括多文檔摘要、解析廣泛的用戶(hù)活動(dòng)以執(zhí)行個(gè)性化任務(wù)以及對(duì)龐大的代碼庫(kù)進(jìn)行推理。
原生多模態(tài)設(shè)計(jì)Llama 4 系列，開(kāi)啟了 Llama 的原生多模態(tài)時(shí)代。
而已經(jīng)公開(kāi)對(duì)外的中杯和大杯，被官方稱(chēng)為“輕量級(jí)原生多模態(tài)模型”。
給用戶(hù)的體驗(yàn)就是，上傳一張圖片，可以直接在對(duì)話(huà)框中提問(wèn)關(guān)于這張圖片的各種問(wèn)題。
不是我說(shuō)，Llama 終于長(zhǎng)眼睛了！！！
上面這張動(dòng)圖展示的僅僅是最基礎(chǔ)的，“為難”程都升級(jí)也不怕。
比如喂它一張鋪滿(mǎn)工具的圖片，問(wèn)它哪些適合來(lái)干某個(gè)活。
它會(huì)很快地把適用的工具圈出來(lái)：
要認(rèn)顏色 + 認(rèn)小鳥(niǎo)，也沒(méi)在怕的：
中杯和大杯都在官方介紹中被打上了“世界上同類(lèi)產(chǎn)品中最好的多模態(tài)模型”的 tag。
來(lái)看和 Llama 系列前作、Gemma 3、Mistral 3.1、Gemini 2.0 Flash-Lite 的對(duì)比結(jié)果 ——
可以看到，在各個(gè)測(cè)評(píng)集上的表現(xiàn)，Llama 4 Scout 樣樣都是新 SOTA。
經(jīng)過(guò)了預(yù)訓(xùn)練和微調(diào)的 Llama 4，掌握全球 12 種語(yǔ)言，以此“方便全球開(kāi)發(fā)者的部署”。
一定要跟大家分享的一個(gè)細(xì)節(jié)，Meta 這次在模型 API 價(jià)格方面，下狠手了！
先說(shuō)結(jié)果：
系列超大杯 Llama 4 Maverick，不僅超越了同類(lèi)型號(hào)其它模型，價(jià)格還非常之美麗。
更直觀地來(lái)看這張表格，真的狠過(guò) DeepSeek—— 從性能到價(jià)格各個(gè)緯度。
要知道，超大杯 Llama 4 Behemoth 屬于是 Llama 4 系列的教師模型。
如果說(shuō)中杯和大杯是輕量級(jí)選手，這位就是絕對(duì)的重磅玩家。
288B 激活參數(shù)，16 個(gè)專(zhuān)家模型。
最重要的是，它的總參數(shù)量高達(dá) 2000B！
在數(shù)學(xué)、多語(yǔ)言和圖像基準(zhǔn)測(cè)試中，它提供了非推理模型的最先進(jìn)性能。
當(dāng)“最牛”和“最便宜”擺在一起的時(shí)候，試問(wèn)哪位開(kāi)發(fā)者會(huì)不心動(dòng)？（doge）
訓(xùn)練細(xì)節(jié)用他們自己的話(huà)來(lái)說(shuō)，Llama 系列是進(jìn)行了徹底的重新設(shè)計(jì)。目前第一組 LIama 4 系列模型，他們也公布了具體的訓(xùn)練細(xì)節(jié)。
預(yù)訓(xùn)練他們首次使用混合專(zhuān)家 MoE 架構(gòu)，在 MoE 架構(gòu)中，單個(gè) token 僅激活總參數(shù)的一小部分。MoE 架構(gòu)在訓(xùn)練和推理方面具有更高的計(jì)算效率，固定訓(xùn)練 FLOP 成本情況下質(zhì)量更高。
比如，Llama 4Maverick 模型有 17B 個(gè)激活參數(shù)和 400B 個(gè)總參數(shù)。他們使用交替的密集層和混合專(zhuān)家 (MoE) 層來(lái)提高推理效率。
MoE 層使用 128 位路由（Routed）專(zhuān)家和一位共享專(zhuān)家。每個(gè)令牌都會(huì)發(fā)送給共享專(zhuān)家以及 128 位路由（Routed）專(zhuān)家之一。
因此，雖然所有參數(shù)都存儲(chǔ)在內(nèi)存中，但在為這些模型提供服務(wù)時(shí)，只有總參數(shù)的子集被激活。
這通過(guò)降低模型服務(wù)成本和延遲來(lái)提高推理效率 ——Llama 4 Maverick 可以在單個(gè) H100 DGX 主機(jī)上運(yùn)行，以便于部署，也可以通過(guò)分布式推理實(shí)現(xiàn)最高效率。
他們?cè)缙谌诤希瑢⑽谋竞鸵曈X(jué) token 無(wú)縫集成到統(tǒng)一模型中。
他們開(kāi)發(fā)了一種新的訓(xùn)練技術(shù)：MetaP，可以設(shè)置關(guān)鍵模型超參數(shù)，比如每層的學(xué)習(xí)率和初始化尺度。
結(jié)果發(fā)現(xiàn)，所選的超參數(shù)能在批量大小、模型寬度、深度和訓(xùn)練 token 的不同值之間很好地?cái)U(kuò)展和泛化 ——
Llama 4 通過(guò)在 200 種語(yǔ)言（包括 100 多種語(yǔ)言，每種語(yǔ)言有超過(guò) 10 億個(gè)詞庫(kù)）上進(jìn)行預(yù)訓(xùn)練，實(shí)現(xiàn)了開(kāi)源微調(diào)工作，多語(yǔ)言詞庫(kù)總量是 Llama 3 的 10 倍。
此外，他們使用 FP8 精度進(jìn)行高效模型訓(xùn)練，同時(shí)不犧牲質(zhì)量并確保模型 FLOPs 的高利用率 — 在使用 FP8 和 32K GPU 預(yù)訓(xùn)練 Llama 4 Behemoth 模型時(shí)，結(jié)果他們實(shí)現(xiàn)了 390TFLOPs / GPU。
用于訓(xùn)練的整體混合數(shù)據(jù)包括 30 多萬(wàn)億個(gè) token，是 Llama 3 預(yù)訓(xùn)練混合物的兩倍多，其中包括各種文本、圖像和視頻數(shù)據(jù)集。
在所謂的“中期訓(xùn)練”中繼續(xù)訓(xùn)練模型，通過(guò)新的訓(xùn)練方法（包括使用專(zhuān)業(yè)數(shù)據(jù)集進(jìn)行長(zhǎng)上下文擴(kuò)展）來(lái)提高模型的核心功能。
后訓(xùn)練后訓(xùn)練階段，他們提出一個(gè)課程策略，與單個(gè)模式專(zhuān)家模型相比，該策略不會(huì)犧牲性能。
在 Llama 4 中，采用了一種不同的方法來(lái)改造我們的后期訓(xùn)練管道：
輕量級(jí)監(jiān)督微調(diào) (SFT)> 在線強(qiáng)化學(xué)習(xí) (RL)> 輕量級(jí)直接偏好優(yōu)化 (DPO)。
一個(gè)關(guān)鍵的教訓(xùn)是，SFT 和 DPO 可能會(huì)過(guò)度約束模型，限制在線強(qiáng)化學(xué)習(xí)階段的探索，并導(dǎo)致精度降低，尤其是在推理、編碼和數(shù)學(xué)領(lǐng)域。
為了解決這個(gè)問(wèn)題，他們使用 Llama 模型作為評(píng)判標(biāo)準(zhǔn)，刪除了 50% 以上被標(biāo)記為簡(jiǎn)單的數(shù)據(jù)，并對(duì)剩余的較難數(shù)據(jù)集進(jìn)行了輕量級(jí) SFT 處理。
在隨后的在線強(qiáng)化學(xué)習(xí)階段，通過(guò)仔細(xì)選擇較難的提示，我們實(shí)現(xiàn)了性能上的飛躍。
此外，他們還實(shí)施了一種連續(xù)的在線強(qiáng)化學(xué)習(xí)策略，即交替訓(xùn)練模型，然后利用模型不斷過(guò)濾并只保留中等難度到較高難度的提示。事實(shí)證明，這種策略在計(jì)算量和準(zhǔn)確性的權(quán)衡方面非常有利。
然后，他們采用輕量級(jí) DPO 來(lái)處理與模型響應(yīng)質(zhì)量相關(guān)的拐角情況，從而有效地在模型的智能性和對(duì)話(huà)能力之間實(shí)現(xiàn)了良好的平衡。流水線架構(gòu)和帶有自適應(yīng)數(shù)據(jù)過(guò)濾功能的連續(xù)在線 RL 策略，最后造就了現(xiàn)在的 LIama 4。
總結(jié)來(lái)看，Llama 4 架構(gòu)的一項(xiàng)關(guān)鍵創(chuàng)新是使用交錯(cuò)注意力層，而無(wú)需位置嵌入。此外，他們還采用了注意力推理時(shí)間溫度縮放來(lái)增強(qiáng)長(zhǎng)度泛化。
這些他們稱(chēng)之為 iRoPE 架構(gòu)，其中“i”代表“交錯(cuò)”注意力層，突出了支持“無(wú)限”上下文長(zhǎng)度的長(zhǎng)期目標(biāo)，而“RoPE ”指的是大多數(shù)層中采用的旋轉(zhuǎn)位置嵌入。
Llama 4 Behemoth最后，他們還透露了超大模型 Llama 4 Behemoth 一些蒸餾和訓(xùn)練細(xì)節(jié)。
我們開(kāi)發(fā)了一種新穎的蒸餾損失函數(shù)，可通過(guò)訓(xùn)練動(dòng)態(tài)加權(quán)軟目標(biāo)和硬目標(biāo)。
預(yù)訓(xùn)練階段，Llama 4 Behemoth 的代碼蒸餾功能可以攤銷(xiāo)學(xué)生訓(xùn)練中使用的大部分訓(xùn)練數(shù)據(jù)計(jì)算蒸餾目標(biāo)所需的資源密集型前向傳遞的計(jì)算成本。對(duì)于納入學(xué)生訓(xùn)練的其他新數(shù)據(jù)，他們?cè)?Behemoth 模型上運(yùn)行前向傳遞，以創(chuàng)建蒸餾目標(biāo)。
后訓(xùn)練階段，為了最大限度地提高性能，他們刪減了 95% 的 SFT 數(shù)據(jù)，而小型模型只需刪減 50% 的數(shù)據(jù)，以實(shí)現(xiàn)對(duì)質(zhì)量和效率的必要關(guān)注。
他們?cè)谶M(jìn)行輕量級(jí) SFT 后，再進(jìn)行大規(guī)模強(qiáng)化學(xué)習(xí)（RL），模型的推理和編碼能力會(huì)有更顯著的提高。
強(qiáng)化學(xué)習(xí)方法側(cè)重于通過(guò)對(duì)策略模型進(jìn)行 pass@k 分析來(lái)抽取高難度提示，并根據(jù)提示難度的增加精心設(shè)計(jì)訓(xùn)練課程。
此外還發(fā)現(xiàn)，在訓(xùn)練過(guò)程中動(dòng)態(tài)過(guò)濾掉優(yōu)勢(shì)為零的提示語(yǔ)，并構(gòu)建包含多種能力的混合提示語(yǔ)的訓(xùn)練批次，有助于提高數(shù)學(xué)、推理和編碼的性能。最后，從各種系統(tǒng)指令中取樣對(duì)于確保模型在推理和編碼方面保持指令跟隨能力并在各種任務(wù)中表現(xiàn)出色至關(guān)重要。
由于其規(guī)模空前，要為兩萬(wàn)億個(gè)參數(shù)模型擴(kuò)展 RL，還需要改造底層 RL 基礎(chǔ)設(shè)施。
他們優(yōu)化了 MoE 并行化的設(shè)計(jì)，從而加快了迭代速度；并開(kāi)發(fā)了一個(gè)完全異步的在線 RL 訓(xùn)練框架，提高了靈活性。
現(xiàn)有的分布式訓(xùn)練框架會(huì)犧牲計(jì)算內(nèi)存以將所有模型堆疊在內(nèi)存中，相比之下，他們新基礎(chǔ)架構(gòu)能夠?qū)⒉煌Ｐ挽`活分配到不同 GPU 上，并根據(jù)計(jì)算速度在多個(gè)模型之間平衡資源。
與前幾代產(chǎn)品相比，這一創(chuàng)新使訓(xùn)練效率提高了約 10 倍。
One More Thing要知道，由于昨天 DeepSeek 發(fā)了新論文，搞得奧爾特曼都坐不住了，趕緊出來(lái)發(fā)聲：
計(jì)劃改變：我們可能在幾周之后先發(fā)布 o3 和 o4-mini。
GPT-5 就在幾個(gè)月后啊～
但，誰(shuí)知道半路又殺出個(gè) Llama 4？！
前有猛虎，后有豺狼，OpenAI 你真的得加油了……
網(wǎng)友調(diào)侃道，當(dāng)奧爾特曼一睜眼，看到 Llama 4 來(lái)了，而且 Llama 4 的成本比 GPT-4.5 降低了 3 個(gè)數(shù)量級(jí)后 ——
他的狀態(tài)一定是醬嬸兒的：
以及相比 Llama，現(xiàn)在可能神秘低調(diào)的 DeepSeek，可能不知道什么時(shí)候突然就會(huì)推出 DeepSeek R2 和 V4… 同在杭州的通義千問(wèn)也干勁十足，Llama 也好 GPT 也好，基本成為平行參考了。
太平洋這頭，已經(jīng)開(kāi)始落地應(yīng)用和智能體了。
參考鏈接：
[1]https://www.llama.com/
[2]https://ai.meta.com/blog/llama-4-multimodal-intelligence/
[3]https://x.com/AIatMeta/status/1908598456144531660
[4]https://x.com/lmarena_ai/status/1908601011989782976
[5]https://x.com/IOHK_Charles/status/1908635624036590070
本文來(lái)自微信公眾號(hào)：量子位（ID：QbitAI），作者：白交衡宇，原標(biāo)題《LIama 4 發(fā)布重奪開(kāi)源第一！DeepSeek 同等代碼能力但參數(shù)減一半，一張 H100 就能跑，還有兩萬(wàn)億參數(shù)超大杯》
本文鏈接：http://www.rrqrq.com/showinfo-45-12013-0.htmlMeta LIama 4 重奪開(kāi)源第一：DeepSeek 同等代碼能力但參數(shù)減半，一張 H100 就能跑，還有兩萬(wàn)億參數(shù)超大杯
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：[email protected] 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)
