元宇宙這一年：技術(shù)加速落地，助傳統(tǒng)行業(yè)走向新階段
美國當(dāng)?shù)貢r間1月8日，2023年CES（消費電子展覽會）完美落幕。而在這項一年一度的科技圈盛事中，元宇宙仍是主角和焦點之一。 索尼在1月6日發(fā)布了備受關(guān)注的PS VR 2頭顯
1 月 26 日消息，百川智能今日宣布，Baichuan-Omni-1.5 開源全模態(tài)模型正式上線。該模型不僅支持文本、圖像、音頻和視頻的全模態(tài)理解，還具備文本和音頻的雙模態(tài)生成能力。
官方宣稱，其在視覺、語音及多模態(tài)流式處理等方面，Baichuan-Omni-1.5 的表現(xiàn)均優(yōu)于 GPT-4o mini；在多模態(tài)醫(yī)療應(yīng)用領(lǐng)域，其具備更突出的領(lǐng)先優(yōu)勢。
Baichuan-Omni-1.5 不僅能在輸入和輸出端實現(xiàn)多種交互操作，還擁有強大的多模態(tài)推理能力和跨模態(tài)遷移能力。
其在音頻技術(shù)領(lǐng)域采用了端到端解決方案，可支持多語言對話、端到端音頻合成，還可實現(xiàn)自動語音識別、文本轉(zhuǎn)語音等功能，且支持音視頻實時交互。
據(jù)介紹，在視頻理解能力方面，Baichuan-Omni-1.5 通過對編碼器、訓(xùn)練數(shù)據(jù)和訓(xùn)練方法等多個關(guān)鍵環(huán)節(jié)進行深入優(yōu)化，其整體性能大幅超越 GPT-4o-mini。
模型結(jié)構(gòu)方面，Baichuan-Omni-1.5 的模型輸入部分支持各種模態(tài)通過相應(yīng)的 Encoder / Tokenizer 輸入到大型語言模型中。
而在模型輸出部分，Baichuan-Omni-1.5 采用了文本-音頻交錯輸出的設(shè)計，通過 Text Tokenizer 和 Audio Decoder 同時生成文本和音頻。
百川智能構(gòu)建了一個包含 3.4 億條高質(zhì)量圖片 / 視頻-文本數(shù)據(jù)和近 100 萬小時音頻數(shù)據(jù)的龐大數(shù)據(jù)庫，且在 SFT 階段使用了 1700 萬條全模態(tài)數(shù)據(jù)。
附開源地址如下：
GitHub：
https://github.com/baichuan-inc/Baichuan-Omni-1.5
模型權(quán)重：
Baichuan-Omni-1.5：
https://huggingface.co/baichuan-inc/Baichuan-Omni-1d5
https://modelers.cn/models/Baichuan/Baichuan-Omni-1d5
Baichuan-Omni-1.5-Base：
https://huggingface.co/baichuan-inc/Baichuan-Omni-1d5-Base
https://modelers.cn/models/Baichuan/Baichuan-Omni-1d5-Base
技術(shù)報告：
https://github.com/baichuan-inc/Baichuan-Omni-1.5/blob/main/baichuan_omni_1_5.pdf
本文鏈接：http://www.rrqrq.com/showinfo-45-10216-0.html百川智能上線開源全模態(tài)模型 Omni-1.5，號稱多項能力超越 GPT-4o mini
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：[email protected] 津ICP備18001702號
津公網(wǎng)安備 12010102000574號