【申萬宏源】必然的碎片化AI落地，哪種路徑可能勝出？ | 元宇宙Meta洞見
大規模預訓GPT(Generative PreTraining)是OpenAI在2018年提出的模型，大規模預訓練模型（大模型）漸漸成為了AI算法領域的熱點。AI產業鏈：從算力到應用工作流程視角?
8 月 29 日消息，Zyphra 于 8 月 27 日發布博文，宣布推出 Zamba2-mini 1.2B 模型，共有 12 億參數，聲稱是端側 SOTA 小語言模型，在 4bit 量化下內存占用低于 700MB。
注：SOTA全稱為 state-of-the-art，并不是特指某個具體的模型，而是指在該項研究任務中，目前最好 / 最先進的模型。
Zamba2-mini 1.2B 雖然尺寸不大，但媲美包括谷歌 Gemma-2B、Huggingface 的 SmolLM-1.7B、蘋果的 OpenELM-1.1B 和微軟的 Phi-1.5 等更大模型。
在推理任務中，Zamba2-mini 的卓越性能尤為顯著，與 Phi3-3.8B 等模型相比，Zamba2-mini 的首次令牌時間（從輸入到輸出第一個 token 的延遲）是此前的二分之一，內存占用減少了 27%。
Zamba2-mini 1.2B 主要通過高度優化的架構實現，融合了不同神經網絡設計的優勢，既能保持大型密集變壓器的高質量輸出，又能以更小模型的計算和內存效率運行。
與前代 Zamba1 相比，Zamba2-mini 的關鍵進步之一是集成了兩個共享注意力層（attention layers）。
這種雙層方法增強了模型在不同深度保持信息的能力，從而提高了整體性能。在共享注意力層中加入旋轉位置嵌入也略微提高了性能，這表明 Zyphra 致力于在模型設計中進行漸進而有影響力的改進。
Zamba2-mini 是在一個包含三萬億個 token 的海量數據集上進行預訓練的，該數據集來自 Zyda 和其他公開來源。
這個龐大的數據集經過了嚴格的過濾和重復處理，以確保獲得最高質量的訓練數據，并在退火（annealing）階段對其進一步完善，其中包括在 1000 億個質量極高的 tokens 上進行訓練。
Zyphra 已承諾使 Zamba2-mini 成為 Apache 2.0 許可下的開源模型。
附上參考地址
Zyphra Unveils Zamba2-mini: A State-of-the-Art Small Language Model Redefining On-Device AI with Unmatched Efficiency and Performance
Model Card for Zamba2-1.2B
Zamba2-mini (1.2B)
本文鏈接：http://www.rrqrq.com/showinfo-45-6537-0.html最強端側開源 AI 模型 Zamba2-mini 登場：12 億參數，4bit 量化下內存占用小于 700MB
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：[email protected] 津ICP備18001702號
津公網安備 12010102000574號