論文鏈接：https://arxiv.org/pdf/2505.21060
項目鏈接：https://nickisdope.github.io/Styl3R/

亮點直擊

• 提出了一種前饋網(wǎng)絡用于3D風格化，該網(wǎng)絡處理稀疏無位姿的內(nèi)容圖像和任意風格圖像，無需測試時優(yōu)化，并能很好地泛化到域外輸入——使其適用于交互式應用。
• 設計了一種雙分支網(wǎng)絡架構(gòu)，將外觀建模與結(jié)構(gòu)建模解耦，有效增強了新視角合成與3D風格化的聯(lián)合學習。
• 本文方法實現(xiàn)了最先進的零樣本3D風格化性能，超越了現(xiàn)有零樣本方法，并接近針對特定風格優(yōu)化技術(shù)的效果，這通過定量指標和定性結(jié)果得到了驗證。

總結(jié)速覽

解決的問題

• 3D場景快速風格化的挑戰(zhàn)：現(xiàn)有方法依賴計算密集的測試時優(yōu)化，難以實現(xiàn)實時風格化。
• 多視角一致性問題：風格遷移易破壞3D場景的結(jié)構(gòu)一致性，導致視角間 artifacts。
• 輸入限制：現(xiàn)有方法需密集多視角圖像和已知相機位姿，難以處理稀疏、無位姿的輸入。
• 風格與重建的解耦：風格遷移與3D重建目標存在沖突，需平衡藝術(shù)風格與場景結(jié)構(gòu)保真度。

提出的方案

• Styl3R模型：基于前饋網(wǎng)絡的端到端框架，直接聯(lián)合重建與風格化3D場景，無需測試時優(yōu)化。
• 雙分支架構(gòu)：

• 結(jié)構(gòu)分支：從無位姿稀疏圖像預測3D高斯的結(jié)構(gòu)參數(shù)，保持幾何一致性。
• 外觀分支：通過Transformer解碼器融合多視角內(nèi)容特征與風格特征，生成色彩。

• 身份損失（Identity Loss）：在風格化微調(diào)時，隨機輸入原內(nèi)容圖像，保留原始重建能力。

應用的技術(shù)

• 3D高斯表示：利用密集幾何先驗高效建模場景結(jié)構(gòu)。
• Transformer特征融合：在外觀分支中跨視角混合內(nèi)容與風格特征。
• 無監(jiān)督預訓練：通過新視角合成任務初始化模型，兼顧重建與風格化能力。
• 輕量化設計：支持2-8張無位姿輸入，處理時間僅0.15秒。

達到的效果

• 高效性：0.15秒內(nèi)完成3D風格化，比優(yōu)化方法快數(shù)個數(shù)量級。
• 多視角一致性：雙分支設計避免結(jié)構(gòu)失真，顯著優(yōu)于現(xiàn)有方法。
• 輸入靈活性：支持稀疏（2-8張）、無位姿圖像和任意風格圖像輸入。
• 保真度：在域內(nèi)外數(shù)據(jù)上均實現(xiàn)高質(zhì)量風格化，平衡藝術(shù)風格與場景真實性。
• 兼容性：保留原始重建能力，無需場景或風格特定的微調(diào)。

方法

本文提出一種雙分支架構(gòu)，將網(wǎng)絡分為結(jié)構(gòu)構(gòu)建分支和外觀著色分支。在外觀分支中，采用風格化解碼器，首先對所有視角的內(nèi)容 token 執(zhí)行全局自注意力以確保多視角一致性，隨后注入風格 token 并與內(nèi)容 token 進行交叉注意力，同時不干擾結(jié)構(gòu)分支。

下圖2展示了整體流程。本節(jié)首先介紹利用 DUSt3R 密集幾何先驗的結(jié)構(gòu)分支，隨后說明控制輸出高斯分布顏色的外觀分支，最后設計一種訓練策略以促進風格化學習并有效保留幾何先驗。

結(jié)構(gòu)分支

外觀分支

訓練策略

3D風格化與重建并非天然對齊，因為優(yōu)化風格損失可能損害場景的底層3D結(jié)構(gòu)。本文采用兩階段訓練策略。第一階段訓練模型準確估計場景結(jié)構(gòu)并執(zhí)行標準真實感著色。此階段后，進入風格化微調(diào)階段，期間凍結(jié)結(jié)構(gòu)分支以確保場景幾何的忠實保留。

訓練損失。兩訓練階段使用的損失總結(jié)如下：

漸進式多視圖訓練：為了穩(wěn)定多視圖訓練，首先在 2 視圖設置下對模型進行新視角合成（NVS）任務的預訓練，隨后利用該預訓練模型初始化 4 視圖 NVS 訓練及后續(xù)的風格化微調(diào)。盡管訓練時使用 4 個輸入視圖，但本文的模型在推理時可靈活處理 2 至 8 個視圖（如下圖 8 所示）。

實驗

數(shù)據(jù)集：采用RealEstate10K（RE10K）和DL3DV的組合作為場景數(shù)據(jù)集，涵蓋具有多樣化相機運動模式的室內(nèi)外視頻。對于風格監(jiān)督，使用WikiArt并為訓練集和評估集中的每個場景分配唯一風格圖像，確保測試場景和風格均未在訓練中出現(xiàn)。為零樣本泛化評估，在Tanks and Temples數(shù)據(jù)集上進行測試，該數(shù)據(jù)集被先前3D風格遷移方法廣泛采用。

基線方法：由于現(xiàn)有方法均無法從稀疏無位姿內(nèi)容圖像和風格參考圖像即時風格化3D重建（如下表1所述），精選一組代表性基線進行比較。對于基于2D的方法，采用AdaIN、AdaAttN和StyTr2的兩階段流程：首先生成真實新視角圖像，再應用各2D風格化模型。對于3D方法，對比ARF、StyleRF和StyleGaussian，這些方法需密集輸入視角和測試時優(yōu)化。為確保功能正常，以密集輸入訓練這些方法，承認這使其具有優(yōu)勢，使對比對本方法（僅需稀疏輸入）不利。ARF需要逐場景和逐風格優(yōu)化；StyleRF和StyleGaussian雖支持零樣本風格遷移，但仍依賴逐場景優(yōu)化。

評估指標：由于3D風格化的新穎性和探索不足，缺乏評估風格化質(zhì)量的指標。本文評估多視角一致性：使用RAFT估計序列圖像間光流，通過softmax splatting扭曲前一幀，在有效像素上計算LPIPS和RMSE作為一致性度量。短程和長程一致性分別計算相鄰視角和相隔七幀的視角。對新視角合成質(zhì)量，報告標準圖像相似性指標：PSNR、SSIM和LPIPS。

實現(xiàn)細節(jié)：使用PyTorch框架。內(nèi)容與風格編碼器采用patch size為16的標準ViT-Large架構(gòu)，結(jié)構(gòu)與風格化解碼器基于ViT-Base模型。編碼器、解碼器和高斯中心預測頭以MASt3R預訓練權(quán)重初始化，其余層隨機初始化。模型在256×256像素分辨率圖像上訓練，高斯采用0階球諧函數(shù)。訓練在8塊NVIDIA A100 GPU上耗時約1.5天。

實驗結(jié)果

三維風格化結(jié)果。 如下圖3和表2所示，本文的方法顯著優(yōu)于所有基線方法。在視覺效果上，本文的風格化結(jié)果在內(nèi)容保留與風格遷移忠實度之間實現(xiàn)了更平衡的權(quán)衡?；跍y試時優(yōu)化的三維基線方法中，StyleRF和StyleGaussian往往無法準確復現(xiàn)參考風格色調(diào)，導致輸出結(jié)果過度泛白或變暗。ARF雖然能更好地捕捉風格色彩，但容易過擬合并施加過度的風格化，從而掩蓋場景細節(jié)。例如，在圖3第三行中，客廳的家具因強烈的素描線 artifacts 幾乎無法辨認。作為二維基線，StyTr2在單張真實新視角上生成視覺愉悅的結(jié)果，但缺乏多視角一致性（如表2和下圖5所示）。相比之下，本文的方法始終生成更優(yōu)的風格化結(jié)果，同時保持最佳的短程和長程一致性指標，這得益于對多視角內(nèi)容與風格 token 聯(lián)合操作的注意力機制。盡管StyleRF在短程評估中略低的RMSE，但這主要歸因于其過度平滑的輸出。

跨數(shù)據(jù)泛化性。為評估方法的泛化性能，直接將其應用于Tanks and Temples數(shù)據(jù)集（先前工作中廣泛使用的基準）。如下圖4所示，本文的模型在分布外場景（如Garden、Ignatius和Horse等與RE10K訓練數(shù)據(jù)差異顯著的物體中心場景）上表現(xiàn)出優(yōu)越性能，超越了現(xiàn)有最優(yōu)方法。值得注意的是，盡管StyleRF和StyleGaussian需逐場景訓練，它們?nèi)詿o法泛化到任意風格輸入。而ARF雖在某些場景中表現(xiàn)更好，但需要密集標定視圖及逐場景、逐風格的優(yōu)化，限制了其在時間敏感應用中的實用性。

新視角合成。本文的最終模型支持風格化與標準三維重建兩種模式，具體取決于外觀分支的輸入是風格圖還是內(nèi)容圖。本文報告兩組指標：一組針對風格化輸出（Ours-stylization），另一組針對未經(jīng)過風格化微調(diào)的標準重建（Ours）。如下表3所示，Ours的性能與NoPoSplat相當，盡管未使用預訓練權(quán)重初始化風格化解碼器。而Ours-stylization雖性能略有下降，但可同時支持照片級真實感和風格化重建。本文的結(jié)果來自RE10K雙視圖模型，與NoPoSplat一致。

風格化時間。本文將風格化時間定義為從接收輸入內(nèi)容圖和風格圖到生成最終風格化輸出的總時長。該指標更實際地反映用戶獲取結(jié)果的速度。對于三維方法，該時間包括重建時間和風格化相關(guān)訓練或優(yōu)化時間。如表2所示，本文的方法風格化時間顯著快于所有現(xiàn)有三維方法，同時接近最先進二維方法的速度。

消融實驗

身份損失對保留NVS能力的作用。探究了風格化微調(diào)中身份損失的必要性。下圖6表明，若禁用該損失，模型在進行新視角合成時將無法恢復場景原始外觀。

內(nèi)容損失層數(shù)。同時使用??relu3_1???和??relu4_1???計算內(nèi)容損失能更好地保留結(jié)構(gòu)細節(jié)而不犧牲藝術(shù)表達。下圖7顯示，僅依賴??relu3_1??會導致風格壓倒場景底層結(jié)構(gòu)。

輸入視圖數(shù)量的靈活性。以4張內(nèi)容圖像訓練的模型展現(xiàn)出強泛化性，可有效處理2至8張輸入視圖。下圖8中，無論是2視圖還是4視圖模型，在僅輸入2張內(nèi)容圖像時均能生成滿意風格化結(jié)果。但當輸入增至8張內(nèi)容圖像時，2視圖模型難以跨視圖對齊高斯體，導致重復 artifacts（如多根立柱和沙發(fā)）。而4視圖模型表現(xiàn)優(yōu)異，盡管從未接受過8視圖輸入訓練。

應用

風格插值。下圖9中展示了模型的一項應用——風格插值。在將風格 token 輸入風格化解碼器前，對兩幅參考風格圖的風格 token 進行插值，從而生成融合兩種風格的平滑過渡結(jié)果。此方法可輕松擴展至多于兩種風格的情形，只需計算對應風格 token 的加權(quán)和。

結(jié)論

本文提出一種前饋網(wǎng)絡，可從稀疏、未標定輸入視圖和單張參考風格圖中實現(xiàn)即時三維風格化，且無需測試時優(yōu)化即可泛化至任意場景和風格。該網(wǎng)絡由結(jié)構(gòu)分支和外觀分支組成，共同實現(xiàn)一致的新視角合成與風格化。大量實驗表明，本文的方法在零樣本風格化質(zhì)量上優(yōu)于現(xiàn)有基線，同時推理速度顯著更快，使其更適用于現(xiàn)實世界和交互式應用。需指出，當前方法僅支持靜態(tài)場景；將其擴展至動態(tài)場景是未來工作的重要方向。

本文轉(zhuǎn)自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/AlxINCaqJSITznfolUxTEA??