完美世界被元宇宙“拒之門外”
春節期間，游戲是消磨時間最好的方式，完美世界的《幻塔》作為選擇的首要目標，倒不是因為它的吸引力有多大，純粹是廣大網友的吐槽。繼《原神》之后，進擊元宇宙的游戲
9 月 21 日消息，科技媒體 marktechpost 昨日（9 月 20 日）發布博文，報道了英偉達（Nvidia）最新發布的論文，介紹了多模態大語言模型系列 NVLM 1.0。
多模態大型語言模型（MLLM）多模態大型語言模型（MLLM）所創建的 AI 系統，能夠無縫解讀文本和視覺數據等，彌合自然語言理解和視覺理解之間的差距，讓機器能夠連貫地處理從文本文檔到圖像等各種形式的輸入。
多模態大型語言模型在圖像識別、自然語言處理和計算機視覺等領域擁有廣闊應用前景，改進人工智能整合和處理不同數據源的方式，幫助 AI 朝著更復雜的應用方向發展。
英偉達 NVLM 1.0NVLM 1.0 系列包括 NVLM-D、NVLM-X 和 NVLM-H 三種主要架構。每個架構都結合先進的多模態推理功能與高效的文本處理功能，從而解決了以往方法的不足之處。
NVLM 1.0 的一個顯著特點是在訓練過程中加入了高質量純文本監督微調（SFT）數據，這使得這些模型在視覺語言任務中表現出色的同時，還能保持甚至提高純文本性能。
研究團隊強調，他們的方法旨在超越 GPT-4V 等現有專有模型和 InternVL 等開放式替代模型。
NVLM 1.0 模型采用混合架構來平衡文本和圖像處理：
NVLM-D：純解碼器模型，以統一的方式處理兩種模式，因此特別擅長多模式推理任務。
NVLM-X：采用交叉注意機制，提高了處理高分辨率圖像時的計算效率
NVLM-H：混合了上述兩種架構的優勢，在保持文本推理所需的效率的同時，實現了更詳細的圖像理解。
這些模型結合了高分辨率照片的動態平鋪技術，在不犧牲推理能力的情況下顯著提高了 OCR 相關任務的性能。
性能在性能方面，NVLM 1.0 模型在多個基準測試中取得了令人印象深刻的成績。
歸功于在訓練過程中集成了高質量的文本數據集，在 MATH 和 GSM8K 等純文本任務中，NVLM-D1.0 72B 模型比其純文本骨干提高了 4.3 分。
在視覺問題解答和推理任務中，這些模型還表現出了強大的視覺語言性能，在 VQAv2 數據集上的準確率為 93.6%，在 AI2D 上的準確率為 87.4%。
在 OCR 相關任務中，NVLM 模型的表現明顯優于現有系統，在 DocVQA 和 ChartQA 數據集上的準確率分別為 87.4% 和 81.7%，突出顯示了其處理復雜視覺信息的能力。
NVLM-X 和 NVLM-H 模型也取得了這些成績，它們在處理高分辨率圖像和多模態數據方面表現出色。
研究的主要發現之一是，NVLM 模型不僅在視覺語言任務中表現出色，而且還保持或提高了純文本性能，這是其他多模態模型難以達到的。
例如，在基于文本的推理任務（如 MMLU）中，NVLM 模型保持了較高的準確率，在某些情況下甚至超過了純文本模型。
想象一下在自動駕駛汽車中的應用場景。NVLM 1.0 可以通過攝像頭實時獲取道路信息，并與車輛導航系統進行語言溝通。
它不僅能識別交通標志，還能理解復雜路況下的人類指令，例如“如果前方有施工，請尋找替代路線”。這得益于其強大的視覺-語言處理能力以及出色的文本推理能力，使得自動駕駛更加智能、安全、可靠。
小結英偉達開發的 NVLM 1.0 模型代表了多模態大型語言模型的重大突破，該模型通過在多模態訓練中集成高質量文本數據集，并采用動態平鋪和高分辨率圖像平鋪標記等創新架構設計，解決了在不犧牲性能的前提下平衡文本和圖像處理的關鍵難題。
NVLM 系列模型不僅在視覺語言任務方面超越了領先的專有系統，而且還保持了卓越的純文本推理能力，讓多模態人工智能系統的發展又向前邁進一大步。
附上參考地址
This AI Paper by NVIDIA Introduces NVLM 1.0: A Family of Multimodal Large Language Models with Improved Text and Image Processing Capabilities
NVLM: Open Frontier-Class Multimodal LLMs
NVLM: Open Frontier-Class Multimodal LLMs Github
本文鏈接：http://www.rrqrq.com/showinfo-45-7545-0.html英偉達 NVLM 1.0 引領多模態 AI 變革：媲美 GPT-4o，不犧牲性能平衡文本和圖像處理難題
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：[email protected] 津ICP備18001702號
津公網安備 12010102000574號