元宇宙終究沒火過兩年
來源：傳播體操在ChatGPT快速破圈的同時，元宇宙的熱度卻一瀉千里。雖然互聯(lián)網(wǎng)大廠們都沒有否認(rèn)元宇宙的長期想象力，但在行動上卻都紛紛表示了對元宇宙短期前景的悲觀。號稱改變
梵高名作也能被 AI 逆向破解了？！
直接喂一張原圖，AI 就能化身梵高?本高一點(diǎn)點(diǎn)重繪整張圖畫（原圖可任意）。
仔細(xì)對照兩邊，AI 幾乎實(shí)現(xiàn)了 1:1 復(fù)刻，還為我們這些繪畫小白清晰展示了整幅圖的構(gòu)建過程。
這項魔法來自華盛頓大學(xué)，項目名為 Inverse Painting，相關(guān)論文已入選 SIGGRAPH Asia 2024，其中兩位作者還是東北大學(xué)（Bowei Chen ）和上海科技大學(xué)（Yifan Wang）的校友。
項目一經(jīng)發(fā)布后即在 Reddit 引起熱議，最高贊更是為藝術(shù)家群體操起了心（doge）。
藝術(shù)家可能會對此感到憤怒
不過也有人表示，這對于人們學(xué)習(xí)如何繪畫非常有幫助。
甚至可以用來“破解”一些大師遺作，提取隱藏或失傳的技術(shù)。
從原圖 → 繪畫過程延時視頻，Inverse Painting 采用基于擴(kuò)散的逆繪畫方法。
通過學(xué)習(xí)真實(shí)藝術(shù)家的繪畫視頻，結(jié)合文本和區(qū)域理解來定義繪畫“指令”，并使用基于擴(kuò)散的渲染器更新畫布，從而生成類似于人類藝術(shù)家繪畫過程的視頻。
進(jìn)一步拆解，這一過程主要包括以下步驟：
學(xué)習(xí)藝術(shù)家的繪畫過程。收集了 294 個丙烯酸風(fēng)景畫繪畫過程視頻（平均時長 9 分鐘），并進(jìn)行視頻幀分割、裁剪和篩選等預(yù)處理操作，讓模型學(xué)習(xí)繪畫過程；
定義繪畫指令。基于對畫作不同元素（比如天空、樹木、人物等）以及元素相互關(guān)系的理解，模型會生成一組“繪畫指令”，告訴模型應(yīng)該先畫什么，后畫什么；
使用擴(kuò)散模型。用擴(kuò)散模型生成逼真圖像，并逐步在畫布上添加細(xì)節(jié)，就像藝術(shù)家繪畫時一樣；
文本和區(qū)域理解。模型還會生成文本指令和區(qū)域掩碼，前者告訴模型要繪制的內(nèi)容，后者用來指定內(nèi)容的確切位置；
逐步渲染。從一個空白畫布開始，逐步生成完整繪畫過程；
時間控制。為了模擬真實(shí)世界中藝術(shù)家的繪畫速度，模型還會考慮每步之間的時間間隔；
這些步驟整體可歸為兩階段訓(xùn)練 + 測試，如下所示：
這個階段主要生成兩個關(guān)鍵指令集，文本指令生成器（Text Instruction Generator）和區(qū)域掩碼生成器（Mask Instruction Generator）。
前者通過比較目標(biāo)畫作和當(dāng)前畫布的狀態(tài)，生成一個簡短的文本指令，比如“畫天空”或“加花朵”，以此決定下一步應(yīng)該添加哪些元素。
后者是一個二進(jìn)制圖像，指明了畫布上應(yīng)該更新哪些部分。
兩者一結(jié)合，確保模型只在畫布上合適的區(qū)域進(jìn)行繪制。
接下來使用第一階段生成的指令來更新畫布。
利用文本指令和區(qū)域掩碼，以及當(dāng)前畫布的圖像和目標(biāo)畫作，一個基于擴(kuò)散的渲染器被用來更新畫布。
這個渲染器采用了一種叫做“去噪擴(kuò)散概率模型”的技術(shù)，它逐步從噪聲圖像中去除噪音，以生成連續(xù)的圖像幀。
總之，渲染器在更新畫布時會考慮多種條件信號，包括文本指令、區(qū)域掩碼、時間間隔，以及目標(biāo)畫作和當(dāng)前畫作的特征。
這些條件信號幫助渲染器更準(zhǔn)確地模擬人類藝術(shù)家的繪畫風(fēng)格和過程。
在測試階段，模型使用訓(xùn)練好的管道從頭開始生成一幅畫作。
這里主要有兩個關(guān)鍵：
自回歸過程。每一步都依賴于前一步生成的結(jié)果，以此生成一個連貫的繪畫過程；
固定時間間隔。在每一步之間采用固定時間來更新畫布，模擬真實(shí)繪畫過程中的時間流逝；
最終，與三個基線方法（Timecraft、Paint Transformer、Stable Video Diffusion）相比，其生成結(jié)果明顯更優(yōu)。
同時，相關(guān)變體也取得了 SOTA 結(jié)果。
簡單介紹下項目作者，一共 5 位，其中兩位是華人。
Bowei Chen （陳柏維），本科就讀于國內(nèi)東北大學(xué)軟件工程專業(yè)（2016 年入學(xué)），后分別在卡內(nèi)基梅隆大學(xué)機(jī)器人研究所和華盛頓大學(xué)攻讀碩博。
研究興趣為計算機(jī)視覺和圖形學(xué)的交叉點(diǎn)，重點(diǎn)是圖像和視頻生成。
Yifan Wang，本科就讀于上海科技大學(xué)計算機(jī)專業(yè)，今年剛獲得華盛頓大學(xué) CS 博士學(xué)位。
個人主頁顯示了多段工作經(jīng)歷（含字節(jié)、谷歌、Adobe 等），目前是 Meta Reality Labs Research 的一名研究科學(xué)家。
實(shí)際上，這個團(tuán)隊進(jìn)行的 AI 逆向繪畫之前也有，網(wǎng)友們還提到了 Paints Undo 這個項目。
當(dāng)時主要應(yīng)用于動漫領(lǐng)域，短短 3 個月已在 GitHub 攬星 3.3K。
對于這事兒，人們一直褒貶不一，最大爭議在于人們擔(dān)心有人會利用 AI 謊稱作者。
畢竟通過講解藝術(shù)思路是作者證明作品原創(chuàng)性的手段之一。
甚至對于它能教人們學(xué)繪畫這事兒，也有網(wǎng)友以自身經(jīng)歷出來反駁：
目前不太符合真實(shí)繪畫過程
所以，有了解繪畫的童鞋來說說看嗎？
參考鏈接：
[1]https://inversepainting.github.io/
[2]https://www.reddit.com/r/singularity/comments/1fybddi/inverse_painting_can_generate_timelapse_videos_of/
本文來自微信公眾號：量子位（ID：QbitAI），作者：一水，原標(biāo)題《AI 逆向繪畫火了！一鍵重繪梵高《星空》，來自華盛頓大學(xué)》
本文鏈接：http://www.rrqrq.com/showinfo-45-8796-0.htmlAI 逆向繪畫：一鍵重繪梵高《羅納河上的星夜》，來自華盛頓大學(xué)
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：[email protected] 津ICP備18001702號
津公網(wǎng)安備 12010102000574號