文本直接生成多視角3D圖像，Meta推出創(chuàng)新模型
隨著擴(kuò)散模型的不斷創(chuàng)新，文生圖領(lǐng)域出現(xiàn)了Midjourney、Stable Diffusion、DALL-E 3等一系列知名產(chǎn)品。
但在文本生成多視角3D圖像方面一直存在諸多技術(shù)難點(diǎn)，Meta和德國(guó)慕尼黑工業(yè)大學(xué)的研究人員聯(lián)合開(kāi)發(fā)了創(chuàng)新模型——ViewDiff。
用戶通過(guò)文本、圖像或二者結(jié)合使用，就能生成高質(zhì)量多視角3D圖像，可幫助游戲開(kāi)發(fā)、元宇宙等行業(yè)快速構(gòu)建模型。
根據(jù)測(cè)試數(shù)據(jù)顯示，ViewDiff生成的圖像在一致性和視覺(jué)質(zhì)量方面非常出色，并將FID、KID的數(shù)據(jù)，分別提升了30%和37%。
論文地址：https://arxiv.org/abs/2403.01807
項(xiàng)目地址：https://lukashoel.github.io/ViewDiff/
目前，文本生成一致性、多視角3D圖像主要有三大難點(diǎn)：通常無(wú)法生成真實(shí)的背景環(huán)境，大多數(shù)只能在簡(jiǎn)單或純色背景上渲染3D物體模型,缺乏與自然環(huán)境的融合；
生成圖像的質(zhì)量和多樣性不理想，由于受限于訓(xùn)練數(shù)據(jù)的規(guī)模,一些方法只能產(chǎn)生質(zhì)量有限、風(fēng)格單一的輸出；
缺乏多視角和一致性，大多數(shù)方法都是獨(dú)立生成單一視角,無(wú)法確保同一物體在不同視角下的幾何和外觀的一致性,這極大限制了3D圖像的實(shí)用性。
而ViewDiff使用了一種創(chuàng)新架構(gòu)，先使用文生圖模型作為先驗(yàn)知識(shí)和圖像流生成器，然后通過(guò)顯式的3D建模為圖像賦予生成一致性、多視角3D圖像的能力。
增強(qiáng)U-Net架構(gòu)
為了使文生圖模型能夠有效捕獲3D幾何和全局風(fēng)格,研究人員對(duì)原有U-Net架構(gòu)進(jìn)行了創(chuàng)新,添加了兩種新的層:跨幀注意力層和投影層。
1）跨幀注意力層：主要替換了U-Net中的標(biāo)準(zhǔn)自注意力層。不同于只關(guān)注單個(gè)圖像內(nèi)部的特征,跨幀注意力層將每個(gè)圖像的特征與其他所有圖像的特征進(jìn)行交互,實(shí)現(xiàn)了跨圖像的風(fēng)格匹配。
2）投影層：雖然跨幀注意力層能協(xié)調(diào)全局風(fēng)格,但它無(wú)法顯式地對(duì)3D幾何知識(shí)進(jìn)行建模。
因此,研究人員又開(kāi)發(fā)了投影層,將多視圖2D特征集成為一個(gè)顯式的3D體素特征,再將其渲染回2D特征,保證了輸出圖像的3D幾何一致性。
原U-Net架構(gòu)在跨幀注意力層和投影層的增強(qiáng)下,使得ViewDiff能夠在各個(gè)尺度上對(duì)2D特征進(jìn)行3D感知建模,并實(shí)現(xiàn)多視圖圖像的風(fēng)格協(xié)調(diào),最終生成一致性、高質(zhì)量的3D圖像。
自回歸生成
?
為了在任意視角上生成更多的3D一致性圖像，ViewDiff開(kāi)發(fā)了自回歸生成模塊，將允許從已生成的圖像繼續(xù)生成更多的圖像，以呈現(xiàn)不同的視角。
首先，給定一個(gè)初始圖像，可以是輸入的多視角生成的圖像中的任意一個(gè)。這個(gè)初始圖像將作為生成過(guò)程的起點(diǎn)。
然后初始圖像通過(guò)編碼器網(wǎng)絡(luò)，提取出特征表示。編碼器網(wǎng)絡(luò)通常由卷積層和池化層組成，用于逐漸減小特征圖的尺寸和提取高級(jí)語(yǔ)義特征。
接著編碼器的特征表示被送入解碼器網(wǎng)絡(luò)，解碼器網(wǎng)絡(luò)的結(jié)構(gòu)與編碼器相反。解碼器逐漸增加特征圖的尺寸，并通過(guò)反卷積等操作生成更高分辨率的圖像。
解碼器的每個(gè)步驟都會(huì)生成一個(gè)新的圖像，并將其與之前生成的圖像進(jìn)行疊加，形成一個(gè)新的輸入。
這個(gè)新的輸入將作為下一個(gè)步驟的輸入，以生成下一個(gè)新的圖像。通過(guò)不斷迭代生成新的圖像，使得ViewDiff能夠在任意視角上生成更多的3D一致性圖像。
本文轉(zhuǎn)自 AIGC開(kāi)放社區(qū) ，作者：AIGC開(kāi)放社區(qū)
