Chirpy3D：用于創(chuàng)意 3D 鳥類生成的連續(xù)部分潛在特征
Chirpy3D框架可以將細(xì)粒度的2D圖像理解提升至3D生成的全新境界。當(dāng)前的3D生成方法往往只關(guān)注于重構(gòu)簡單的對象，缺乏細(xì)致的特征和創(chuàng)造性。Chirpy3D通過結(jié)合多視角擴(kuò)散模型和連續(xù)的部件潛在空間，能夠生成全新且合理的3D鳥類模型。該系統(tǒng)不僅能夠保持細(xì)致的物種特征，還能通過插值和采樣生成全新的部件。通過自監(jiān)督特征一致性損失，Chirpy3D確保了未見部件的穩(wěn)定生成，展現(xiàn)了其在細(xì)粒度3D生成領(lǐng)域的創(chuàng)新能力。
生成的由不同部分組成的活潑的 3D 鳥類。Chirpy3D 從原始 2D 圖像中學(xué)習(xí)部分潛在空間，并且可以通過探索部分潛在空間生成高質(zhì)量的創(chuàng)意 3D 鳥類。（頂部）現(xiàn)有物種，（底部）新物種
相關(guān)鏈接
- 論文：http://arxiv.org/abs/2501.04144v1
- 主頁：https://github.com/kamwoh/chirpy3d
論文介紹
論文將細(xì)粒度 3D 生成的邊界推向了真正具有創(chuàng)造性的領(lǐng)域。當(dāng)前的方法要么缺乏復(fù)雜的細(xì)節(jié)，要么只是模仿現(xiàn)有對象——我們同時實現(xiàn)了這兩種方法。通過多視圖擴(kuò)散將 2D 細(xì)粒度理解提升到 3D，并將部分潛在建模為連續(xù)分布，我們解鎖了通過插值和采樣生成全新但合理部分的能力。自監(jiān)督特征一致性損失進(jìn)一步確保了這些看不見的部分的穩(wěn)定生成。結(jié)果是第一個能夠創(chuàng)建具有超越現(xiàn)有示例的物種特定細(xì)節(jié)的新型 3D 對象的系統(tǒng)。雖然我們在鳥類身上展示了我們的方法，但底層框架超越了會鳴叫的事物！
方法
Chirpy3D 的整體架構(gòu)。（頂部）在訓(xùn)練期間，我們僅使用鳥類的 2D 圖像對文本到多視圖擴(kuò)散模型（例如 MVDream）進(jìn)行微調(diào)。我們的目標(biāo)是通過建模連續(xù)的部分感知潛在空間來學(xué)習(xí)底層的部分信息。這是通過學(xué)習(xí)一組物種嵌入 e，通過可學(xué)習(xí)的 f 將它們投射到部分潛在 l 中，通過可學(xué)習(xí)的 g 解碼為詞嵌入 t 并插入文本提示來實現(xiàn)的。我們訓(xùn)練具有擴(kuò)散損失（等式 5）和多個損失目標(biāo)的擴(kuò)散模型 - Lreg（等式 2）將部分潛在建模為高斯分布，Lattn（等式 6）用于部分解纏，以及我們提出的 Lcl（等式 4）以增強(qiáng)視覺連貫性。f 和 g 是可訓(xùn)練模塊。為了提高訓(xùn)練效率，我們在 U-Net 的交叉注意層中添加了 LoRA 層。 （底部）在推理過程中，我們可以首先通過選擇所需的部分潛在特征作為條件來預(yù)覽多視圖圖像，然后通過 SDS 損失 LSDS 將它們轉(zhuǎn)換為 3D 表示（例如 NeRF）。
結(jié)果
兩個不同物種（藍(lán)松鴉和白鵜鶘）的主題生成。
部分組成的視覺比較。A、B、C、D、E、F 分別代表紅雀、威爾遜鶯、最小海雀、加州鷗、角百靈和歌帶鹀。紅色圓圈表示已更改的部分。所有部分（包括源和目標(biāo)）均由同一種子生成。
藍(lán)松鴉和紅雀兩種不同物種之間所有部分潛伏值的線性插值。僅顯示一個視圖。我們的 Chirpy3D 實現(xiàn)了更平滑的插值，而不像 PartCraft 在某個步驟后表現(xiàn)出突然切換現(xiàn)象（紅色框）
結(jié)論
Chirpy3D是一個細(xì)粒度 3D 生成框架，它通過多視圖擴(kuò)散將 2D 理解提升到 3D，將部分潛在信息建模為連續(xù)的。所有圖像都是用相同的相機(jī)姿勢生成的但在看不見的潛在信息上使用不同的種子。
連續(xù)分布并規(guī)范特征一致性以穩(wěn)定看不見部分的生成。這種方法可以創(chuàng)建具有前所未有的細(xì)粒度細(xì)節(jié)和創(chuàng)作自由的新型 3D 對象。雖然該方法是在鳥類身上進(jìn)行演示，但這種方法也可以應(yīng)用于其他物體。
