僅需1分鐘，文本生成高質(zhì)量3D模型—Meta 3D-Gen 精華
全球社交、科技巨頭Meta發(fā)布了全新文生3D模型——Meta 3D-Gen。
用戶通過Meta 3D-Gen僅需1分鐘就能生成人物、動(dòng)物、道具、服飾、工業(yè)設(shè)計(jì)等不同類型的高質(zhì)量3D模型。
Meta 3D-Gen不僅生成的內(nèi)容是高分辨率的紋理和材質(zhì)貼圖，還支持物理渲染光影效果非常好，適用于游戲開發(fā)、電影制作、虛擬現(xiàn)實(shí)、建筑設(shè)計(jì)等領(lǐng)域，幫助開發(fā)人員節(jié)省大量時(shí)間。
多視圖到3D重建
多視圖到3D重建是Meta 3D-Gen的兩大核心模塊之一，主要將用戶輸入的文本提示轉(zhuǎn)換為3D空間中的具體形態(tài)，包括形狀、結(jié)構(gòu)、材質(zhì)、紋理等。例如，“一只穿著綠色羊毛毛衣的暴龍”，需要根據(jù)文本中的綠色、毛衣、暴龍等元素解析出對應(yīng)的建模。
首先，Meta使用了自研的一個(gè)多視圖和多通道版本的文本到圖像生成模型Emu，來生成一系列相對一致的物體視角圖像。該過程就像是通過不同角度拍攝同一物體的照片，為后續(xù)的3D模型重建提供了多視角的視覺信息。
Emu模型經(jīng)過精心微調(diào)，使用了合成3D數(shù)據(jù)的渲染圖像，以便在視圖空間中進(jìn)行多視圖生成，同時(shí)也在UV空間中進(jìn)行生成，從而產(chǎn)生更優(yōu)質(zhì)的紋理。
然后，從這些多視角圖像中提取出3D物體的初步版本，將其轉(zhuǎn)換為體積空間中的表示。這是通過從多個(gè)角度的圖像中重建3D形狀的過程，類似于從多個(gè)快照中拼接出一個(gè)立體模型。
重建后的3D模型不僅包含了物體的形狀，還附帶了初步的紋理和物理渲染材質(zhì)貼圖，這對于在真實(shí)世界中應(yīng)用非常有幫助。
為了更精準(zhǔn)地獲取3D形狀，Meta 3D-Gen還使用了基于有符號距離場的優(yōu)化表示法，這是一種用于描述3D形狀的方法，可以計(jì)算出物體表面相對于某點(diǎn)的距離，對于保持形狀的細(xì)節(jié)和精確性非常有效，能夠在保證3D模型結(jié)構(gòu)完整性和細(xì)節(jié)豐富性的同時(shí)，也確保了模型的拓?fù)滟|(zhì)量。
3D紋理細(xì)化
在第一階段獲取精準(zhǔn)的3D模型之后，就需要借助3D紋理生成進(jìn)一步細(xì)化、增強(qiáng)3D模型效果。
紋理細(xì)化是基于初始的3D模型和用戶提供的文本描述，生成一系列物體的多視圖圖像。這些圖像不僅僅是簡單的渲染，還包含了物體的光照外觀以及其固有色，也就是在沒有外部光源影響下的物體基本顏色。
在優(yōu)化的過程中，Meta 3D-Gen通過一個(gè)神經(jīng)網(wǎng)絡(luò)可將多個(gè)視角下的信息進(jìn)行融合，生成一個(gè)在視覺上連貫且一致的紋理。為了增強(qiáng)紋理的效果，Meta 3D-Gen還內(nèi)置了優(yōu)化增強(qiáng)神經(jīng)網(wǎng)絡(luò)，輸入的視圖重新投影到紋理空間，生成2K、4K或更清晰的紋理細(xì)節(jié)。
為了測試該模型的性能，研究人員將Meta 3D-Gen與CSM Cube 2.0、Tripo3D、Rodin Gen-1 V0.5和Meshy v3知名文本生成3D模型進(jìn)行了綜合對比。
結(jié)果顯示，Meta 3D-Gen在文本語義還原、視覺質(zhì)量和紋理、生成效率等關(guān)鍵評測指標(biāo)上超越了這些模型。尤其是Meta 3D-Gen的生成效率非常高，比現(xiàn)有模型快3—60倍左右。
本文轉(zhuǎn)自 AIGC開放社區(qū) ，作者：AIGC開放社區(qū)
