藍(lán)標(biāo)虧錢、Meta裁員：天下秀還值得砸錢元宇宙嗎？
日前，天下秀數(shù)字科技集團(tuán)正式公布了2022年報(bào)及2023年一季報(bào)。報(bào)告顯示，2022年天下秀實(shí)現(xiàn)營(yíng)收41.29億元，同比下滑8.48%；歸母凈利潤(rùn)1.8億元，同比下滑49.2%，幾乎出現(xiàn)了盈利腰斬的態(tài)勢(shì)
9 月 15 日消息，科技媒體 marktechpost 昨日（9 月 14 日）發(fā)布博文，報(bào)道稱英偉達(dá)開源了 Nemotron-Mini-4B-Instruct AI 模型，標(biāo)志著該公司在 AI 領(lǐng)域創(chuàng)新又一新篇章。
小語(yǔ)言模型的大潛力Nemotron-Mini-4B-Instruct AI 模型專為角色扮演、檢索增強(qiáng)生成（RAG）及函數(shù)調(diào)用等任務(wù)設(shè)計(jì)，是一個(gè)小語(yǔ)言模型（SLM），通過蒸餾（distilled）和優(yōu)化更大的 Nemotron-4 15B 獲得。
英偉達(dá)使用剪枝（pruning）、量化（quantization）和蒸餾（distillation）等先進(jìn) AI 技術(shù)，讓該模型更小巧高效，尤其適用于設(shè)備端部署。
這種縮小化并未影響模型在角色扮演和功能調(diào)用等特定場(chǎng)景下的性能，讓其成為需要快速按需響應(yīng)的應(yīng)用的實(shí)用選擇。
該模型在 Minitron-4B-Base 模型上微調(diào)，采用了 LLM 壓縮技術(shù)，最顯著的特點(diǎn)之一是其能夠處理 4096 個(gè)上下文窗口詞元（token），能夠生成更長(zhǎng)且更連貫的回復(fù)。
架構(gòu)與技術(shù)規(guī)格Nemotron-Mini-4B-Instruct 以其強(qiáng)大的架構(gòu)著稱，確保了高效性與可擴(kuò)展性。
該模型的 Embedding Size（決定了轉(zhuǎn)化后的向量的維度）尺寸為 3072，多頭注意力（Multi-Head Attention）為 32 個(gè)，MLP 中間維度為 9216，在處理大規(guī)模輸入數(shù)據(jù)集時(shí)，仍能以高精度和相關(guān)性作出響應(yīng)。
此外，模型還采用了組查詢注意力（GQA）和旋轉(zhuǎn)位置嵌入（RoPE）技術(shù)，進(jìn)一步提升了其處理與理解文本的能力。
該模型基于 Transformer 解碼器架構(gòu)，是一種自回歸語(yǔ)言模型。這意味著它根據(jù)前面的標(biāo)記生成每個(gè)標(biāo)記，非常適合對(duì)話生成等任務(wù)，其中對(duì)話的連貫流暢至關(guān)重要。
Nemotron-Mini-4B-Instruct 在角色扮演應(yīng)用領(lǐng)域表現(xiàn)尤為突出。憑借其龐大的標(biāo)記容量和優(yōu)化的語(yǔ)言生成能力，它可以嵌入到虛擬助手、視頻游戲或任何其他需要 AI 生成關(guān)鍵響應(yīng)的交互式環(huán)境中。
英偉達(dá)提供了一種特定的提示格式，以確保模型在這些場(chǎng)景中，尤其是在單輪或多輪對(duì)話中，輸出最佳結(jié)果。
該模型還針對(duì)函數(shù)調(diào)用進(jìn)行了優(yōu)化，在 AI 系統(tǒng)必須與 API 或其他自動(dòng)化流程交互的環(huán)境中變得越來越重要。生成準(zhǔn)確、功能性響應(yīng)的能力使得該模型非常適合 RAG 場(chǎng)景，即模型需要?jiǎng)?chuàng)建文本并從知識(shí)庫(kù)中檢索和提供信息。
附上參考地址
Nvidia Open Sources Nemotron-Mini-4B-Instruct: A 4,096 Token Capacity Small Language Model Designed for Roleplaying, Function Calling, and Efficient On-Device Deployment with 32 Attention Heads and 9,216 MLP
Nemotron-Mini-4B-Instruct
本文鏈接：http://www.rrqrq.com/showinfo-45-7491-0.html英偉達(dá)開源 Nemotron-Mini-4B-Instruct 小語(yǔ)言 AI 模型：專為角色扮演設(shè)計(jì)，9216 MLP、上下文長(zhǎng)度 4096 詞元
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：[email protected]
上一篇： 日本家電賣場(chǎng)巨頭 Nojima 推出“AI 社長(zhǎng)”，用于培養(yǎng)公司內(nèi)部人才
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：[email protected] 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)