7 月 4 日消息，阿里“通義大模型”公眾號今日發文宣布，通義實驗室首個音頻生成模型 ThinkSound 現已正式開源，將打破“靜音畫面”的想象力局限。b9M28資訊網——每日最新資訊28at.com

ThinkSound 首次將 CoT（Chain-of-Thought，思維鏈）應用到音頻生成領域，讓 AI 學會一步步“想清楚”畫面事件與聲音之間的關系，從而實現高保真、強同步的空間音頻生成 —— 不只是“看圖配音”，而是真正“聽懂畫面”。b9M28資訊網——每日最新資訊28at.com

b9M28資訊網——每日最新資訊28at.com

為了讓 AI 學會“有邏輯地聽”，通義實驗室語音團隊構建了首個支持鏈式推理的多模態音頻數據集AudioCoT。b9M28資訊網——每日最新資訊28at.com

AudioCoT 融合了來自 VGGSound、AudioSet、AudioCaps、Freesound 等多個來源的2531.8 小時高質量樣本。這些數據覆蓋了從動物鳴叫、機械運轉到環境音效等多種真實場景，為模型提供了豐富而多樣化的訓練基礎。為了確保每條數據都能真正支撐 AI 的結構化推理能力，研究團隊設計了一套精細化的數據篩選流程，包括多階段自動化質量過濾和不少于 5%的人工抽樣校驗，層層把關以保障數據集的整體質量。b9M28資訊網——每日最新資訊28at.com

在此基礎上，AudioCoT 還特別設計了面向交互式編輯的對象級和指令級樣本，以滿足 ThinkSound 在后續階段對細化與編輯功能的需求。b9M28資訊網——每日最新資訊28at.com

ThinkSound 由兩個關鍵部分組成：一個擅長“思考”的多模態大語言模型（MLLM），以及一個專注于“聽覺輸出”的統一音頻生成模型。正是這兩個模塊的配合，使得系統可以按照三個階段逐步解析畫面內容，并最終生成精準對位的音頻效果 —— 從理解整體畫面，到聚焦具體物體，再到響應用戶指令。b9M28資訊網——每日最新資訊28at.com

b9M28資訊網——每日最新資訊28at.com

據官方介紹，近年來，盡管端到端視頻到音頻（V2A）生成技術取得了顯著進展，但仍難以真正捕捉畫面中的動態細節和空間關系。像貓頭鷹何時鳴叫、何時起飛，樹枝晃動時是否伴隨摩擦聲等視覺-聲學關聯，往往被忽視，導致生成的音頻過于通用，甚至與關鍵視覺事件錯位，難以滿足專業創意場景中對時序和語義連貫性的嚴格要求。b9M28資訊網——每日最新資訊28at.com

這背后的核心問題在于：AI 缺乏對畫面事件的結構化理解，無法像人類音效師那樣，一步步分析、推理、再合成聲音。b9M28資訊網——每日最新資訊28at.com

附開源地址：b9M28資訊網——每日最新資訊28at.com

https://github.com/FunAudioLLM/ThinkSoundb9M28資訊網——每日最新資訊28at.com

https://huggingface.co/spaces/FunAudioLLM/ThinkSoundb9M28資訊網——每日最新資訊28at.com

https://www.modelscope.cn/studios/iic/ThinkSoundb9M28資訊網——每日最新資訊28at.com

本文鏈接：http://www.rrqrq.com/showinfo-45-14394-0.html阿里通義開源旗下首個音頻生成模型 ThinkSound：可像“專業音效師”一樣思考

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 榮耀Magic V5智能制造揭秘：AI引領中國手機制造新飛躍

下一篇： OpenAI 揭秘 ChatGPT 兩年半前爆火背后軼事：原計劃命名“Chat with GPT-3.5”