多樣高質(zhì)的三維場(chǎng)景生成結(jié)果

• 論文地址：https://arxiv.org/abs/2304.12670
• 項(xiàng)目主頁(yè)：http://weiyuli.xyz/Sin3DGen/

引言

使用人工智能輔助內(nèi)容生成（AIGC）在圖像生成領(lǐng)域涌現(xiàn)出大量的工作，從早期的變分自編碼器（VAE），到生成對(duì)抗網(wǎng)絡(luò)（GAN），再到最近大紅大紫的擴(kuò)散模型（Diffusion Model），模型的生成能力飛速提升。以 Stable Diffusion，Midjourney 等為代表的模型在生成具有高真實(shí)感圖像方面取得了前所未有的成果。同時(shí)，在視頻生成領(lǐng)域，最近也涌現(xiàn)出很多優(yōu)秀的工作，如 Runway 公司的生成模型能夠生成充滿想象力的視頻片段。這些應(yīng)用極大降低了內(nèi)容創(chuàng)作門檻，使得每個(gè)人都可以輕易地將自己天馬行空的想法變?yōu)楝F(xiàn)實(shí)。

但是隨著承載內(nèi)容的媒介越來(lái)越豐富，人們漸漸不滿足于圖文、視頻這些二維的圖形圖像內(nèi)容。隨著交互式電子游戲技術(shù)的不斷發(fā)展，特別是虛擬和增強(qiáng)現(xiàn)實(shí)等應(yīng)用的逐步成熟，人們?cè)絹?lái)越希望能身臨其境地從三維視角與場(chǎng)景和物體進(jìn)行互動(dòng)，這帶來(lái)了對(duì)三維內(nèi)容生成的更大訴求。

如何快速地生成高質(zhì)量且具有精細(xì)幾何結(jié)構(gòu)和高度真實(shí)感外觀的三維內(nèi)容，一直以來(lái)是計(jì)算機(jī)圖形學(xué)社區(qū)研究者們重點(diǎn)探索的問(wèn)題。通過(guò)計(jì)算機(jī)智能地進(jìn)行三維內(nèi)容生成，在實(shí)際生產(chǎn)應(yīng)用中可以輔助游戲、影視制作中重要數(shù)字資產(chǎn)的生產(chǎn)，極大地減少了美術(shù)制作人員的開發(fā)時(shí)間，大幅地降低資產(chǎn)獲取成本，并縮短整體的制作周期，也為用戶帶來(lái)千人千面的個(gè)性化視覺體驗(yàn)提供了技術(shù)可能。而對(duì)于普通用戶來(lái)說(shuō)，快速便捷的三維內(nèi)容創(chuàng)作工具的出現(xiàn)，結(jié)合如桌面級(jí)三維打印機(jī)等應(yīng)用，未來(lái)將為普通消費(fèi)者的文娛生活帶來(lái)更加無(wú)限的想象空間。

目前，雖然普通用戶可以通過(guò)便攜式相機(jī)等設(shè)備輕松地創(chuàng)建圖像和視頻等二維內(nèi)容，甚至可以對(duì)三維場(chǎng)景進(jìn)行建模掃描，但總體來(lái)說(shuō)，高質(zhì)量三維內(nèi)容的創(chuàng)作往往需要有經(jīng)驗(yàn)的專業(yè)人員使用如 3ds Max、Maya、Blender 等軟件手動(dòng)建模和渲染，但這些有很高的學(xué)習(xí)成本和陡峭的成長(zhǎng)曲線。

其中一大主要原因是，三維內(nèi)容的表達(dá)十分復(fù)雜，如幾何模型、紋理貼圖或者角色骨骼動(dòng)畫等。即使就幾何表達(dá)而言，就可以有點(diǎn)云、體素和網(wǎng)格等多種形式。三維表達(dá)的復(fù)雜性極大地限制了后續(xù)數(shù)據(jù)采集和算法設(shè)計(jì)。

另一方面，三維數(shù)據(jù)天然具有稀缺性，數(shù)據(jù)獲取的成本高昂，往往需要昂貴的設(shè)備和復(fù)雜的采集流程，且難以大量收集某種統(tǒng)一格式的三維數(shù)據(jù)。這使得大多數(shù)數(shù)據(jù)驅(qū)動(dòng)的深度生成模型難有用武之地。

在算法層面，如何將收集到的三維數(shù)據(jù)送入計(jì)算模型，也是難以解決的問(wèn)題。三維數(shù)據(jù)處理的算力開銷，要比二維數(shù)據(jù)有著指數(shù)級(jí)的增長(zhǎng)。暴力地將二維生成算法拓展到三維，即使是最先進(jìn)的并行計(jì)算處理器也難以在可接受的時(shí)間內(nèi)進(jìn)行處理。

上述原因?qū)е铝水?dāng)前三維內(nèi)容生成的工作大多只局限于某一特定類別或者只能生成較低分辨率的內(nèi)容，難以應(yīng)用于真實(shí)的生產(chǎn)流程中。

為了解決上述問(wèn)題，北京大學(xué)陳寶權(quán)團(tuán)隊(duì)聯(lián)合山東大學(xué)和騰訊 AI Lab 的研究人員，提出了首個(gè)基于單樣例場(chǎng)景無(wú)需訓(xùn)練便可生成多樣高質(zhì)量三維場(chǎng)景的方法。該算法具有如下優(yōu)點(diǎn)：

1，無(wú)需大規(guī)模的同類訓(xùn)練數(shù)據(jù)和長(zhǎng)時(shí)間的訓(xùn)練，僅使用單個(gè)樣本便可快速生成高質(zhì)量三維場(chǎng)景；

2，使用了基于神經(jīng)輻射場(chǎng)的 Plenoxels 作為三維表達(dá)，場(chǎng)景具有高真實(shí)感外觀，能渲染出照片般真實(shí)的多視角圖片。生成的場(chǎng)景也完美的保留了樣本中的所有特征，如水面的反光隨視角變化的效果等；

3，支持多種應(yīng)用制作場(chǎng)景，如三維場(chǎng)景的編輯、尺寸重定向、場(chǎng)景結(jié)構(gòu)類比和更換場(chǎng)景外觀等。

方法介紹

研究人員提出了一種多尺度的漸進(jìn)式生成框架，如下圖所示。算法核心思想是將樣本場(chǎng)景拆散為多個(gè)塊，通過(guò)引入高斯噪聲，然后以類似拼積木的方式將其重新組合成類似的新場(chǎng)景。

作者使用坐標(biāo)映射場(chǎng)這種和樣本異構(gòu)的表達(dá)來(lái)表示生成的場(chǎng)景，使得高質(zhì)量的生成變得可行。為了讓算法的優(yōu)化過(guò)程更加魯棒，該研究還提出了一種基于值和坐標(biāo)混合的優(yōu)化方法。同時(shí)，為了解決三維計(jì)算的大量資源消耗問(wèn)題，該研究使用了精確到近似的優(yōu)化策略，使得能在沒有任何訓(xùn)練的情況下，在分鐘級(jí)的時(shí)間生成高質(zhì)量的新場(chǎng)景。更多的技術(shù)細(xì)節(jié)請(qǐng)參考原始論文。

隨機(jī)場(chǎng)景生成

通過(guò)如左側(cè)框內(nèi)的單個(gè)三維樣本場(chǎng)景，可以快速地生成具有復(fù)雜幾何結(jié)構(gòu)和真實(shí)外觀的新場(chǎng)景。該方法可以處理具有復(fù)雜拓?fù)浣Y(jié)構(gòu)的物體，如仙人掌，拱門和石凳等，生成的場(chǎng)景完美地保留了樣本場(chǎng)景的精細(xì)幾何和高質(zhì)量外觀。當(dāng)前沒有任何基于神經(jīng)網(wǎng)絡(luò)的生成模型能做到相似的質(zhì)量和多樣性。

高分辨率大場(chǎng)景生成

該方法能高效地生成極高分辨率的三維內(nèi)容。如上所示，我們可以通過(guò)輸入單個(gè)左上角分辨率為 512 x 512 x 200 的三維 “千里江山圖” 的一部分，生成 1328 x 512 x 200 分辨率的 “萬(wàn)里江山圖”，并渲染出 4096 x 1024 分辨率的二維多視角圖片。

真實(shí)世界無(wú)邊界場(chǎng)景生成

作者在真實(shí)的自然場(chǎng)景上也驗(yàn)證了所提出的生成方法。通過(guò)采用與 NeRF++ 類似的處理方法，顯式的將前景和天空等背景分開后，單獨(dú)對(duì)前景內(nèi)容進(jìn)行生成，便可在真實(shí)世界的無(wú)邊界場(chǎng)景中生成新場(chǎng)景。

其他應(yīng)用場(chǎng)景

場(chǎng)景編輯 

使用相同的生成算法框架，通過(guò)加入人為指定限制，可以對(duì)三維場(chǎng)景內(nèi)的物體進(jìn)行刪除，復(fù)制和修改等編輯操作。如圖中所示，可以移除場(chǎng)景中的山并自動(dòng)補(bǔ)全孔洞，復(fù)制生成三座山峰或者使山變得更大。

尺寸重定向 

該方法也可以對(duì)三維物體進(jìn)行拉伸或者壓縮的同時(shí)，保持其局部的形狀。圖中綠色框線內(nèi)為原始的樣本場(chǎng)景，將一列三維火車進(jìn)行拉長(zhǎng)的同時(shí)保持住窗戶的局部尺寸。

結(jié)構(gòu)類比生成 

和圖像風(fēng)格遷移類似，給定兩個(gè)場(chǎng)景 A 和 B，我們可以創(chuàng)建一個(gè)擁有 A 的外觀和幾何特征，但是結(jié)構(gòu)與 B 相似的新場(chǎng)景。如我們可以參考一座雪山將另一座山變?yōu)槿S雪山。

更換樣本場(chǎng)景 

由于該方法對(duì)生成場(chǎng)景采用了異構(gòu)表達(dá)，通過(guò)簡(jiǎn)單地修改其映射的樣本場(chǎng)景，便可生成更加多樣的新場(chǎng)景。如使用同一個(gè)生成場(chǎng)景映射場(chǎng) S，映射不同時(shí)間或季節(jié)的場(chǎng)景，得到了更加豐富的生成結(jié)果。

總結(jié)

這項(xiàng)工作面向三維內(nèi)容生成領(lǐng)域，首次提出了一種基于單樣本的三維自然場(chǎng)景生成模型，嘗試解決當(dāng)前三維生成方法中數(shù)據(jù)需求大、算力開銷多、生成質(zhì)量差等問(wèn)題。該工作聚焦于更普遍的、語(yǔ)義信息較弱的自然場(chǎng)景，更多的關(guān)注生成內(nèi)容的多樣性和質(zhì)量。算法主要受傳統(tǒng)計(jì)算機(jī)圖形學(xué)中紋理圖像生成相關(guān)的技術(shù)，結(jié)合近期的神經(jīng)輻射場(chǎng)，能快速地生成高質(zhì)量三維場(chǎng)景，并展示了多種實(shí)際應(yīng)用。

未來(lái)展望

該工作有較強(qiáng)的通用性，不僅能結(jié)合當(dāng)前的神經(jīng)表達(dá)，也適用于傳統(tǒng)的渲染管線幾何表達(dá)，如多邊形網(wǎng)格 (Mesh)。我們?cè)陉P(guān)注大型數(shù)據(jù)和模型的同時(shí)，也應(yīng)該不時(shí)地回顧傳統(tǒng)的圖形學(xué)工具。研究人員相信，不久的未來(lái)，在 3D AIGC 領(lǐng)域，傳統(tǒng)的圖形學(xué)工具結(jié)合高質(zhì)量的神經(jīng)表達(dá)以及強(qiáng)力的生成模型，將會(huì)碰撞出更絢爛的火花，進(jìn)一步推進(jìn)三維內(nèi)容生成的質(zhì)量和速度，解放人們的創(chuàng)造力。

這一研究得到了廣大網(wǎng)友的討論：

有網(wǎng)友表示：（這項(xiàng)研究）對(duì)于游戲開發(fā)來(lái)說(shuō)十分棒，只需要建模單個(gè)模型就能生成很多新的版本。

對(duì)于上述觀點(diǎn)，有人表示完全同意，游戲開發(fā)者、個(gè)人和小公司可以從這類模型中得到幫助。