NeRF（Neural Radiance Fields）又稱神經輻射場，自從被提出以來，火速成為最為熱門的研究領域之一，效果非常驚艷。然而，NeRF 的直接輸出只是一個彩色的密度場，對研究者來說可用信息很少，缺乏上下文就是需要面對的問題之一，其效果是直接影響了與 3D 場景交互界面的構建。

但自然語言不同，自然語言與 3D 場景交互非常直觀。我們可以用圖 1 中的廚房場景來解釋，通過詢問餐具在哪，或者詢問用來攪拌的工具在哪，以這種方式就可以在廚房里找到物體。不過完成這項任務不僅需要模型的查詢能力，還需要能夠在多個尺度上合并語義等。

本文中，來自 UC 伯克利的研究者提出了一種新穎的方法，并命名為 LERF（Language Embedded Radiance Fields），該方法將 CLIP（Contrastive Language-Image Pre-training）等模型中的語言嵌入到 NeRF 中，從而使得這些類型的 3D 開放式語言查詢成為可能。LERF 直接使用 CLIP，無需通過 COCO 等數據集進行微調，也不需要依賴掩碼區域建議。LERF 在多個尺度上保留了 CLIP 嵌入的完整性，還能夠處理各種語言查詢，包括視覺屬性（如黃色）、抽象概念（如電流）、文本等，如圖 1 所示。

論文地址：https://arxiv.org/pdf/2303.09553v1.pdf

項目主頁：https://www.lerf.io/

LERF 可以實時交互地為語言提示提取 3D 相關示圖。例如在一張有小羊和水杯的桌子上，輸入提示小羊、或者水杯，LERF 就可以給出相關 3D 圖：

對于復雜的花束，LERF 也可以精準定位：

 廚房中的不同物體：

方法

該研究通過與 NeRF 聯合優化語言場構建了新方法 LERF。LERF 將位置和物理尺度作為輸入并輸出單個 CLIP 向量。在訓練期間，場（field）使用多尺度特征金字塔（pyramid）進行監督，該金字塔包含從訓練視圖的圖像裁剪（crop）生成的 CLIP 嵌入。這允許 CLIP 編碼器捕獲不同尺度的圖像語境，從而將相同的 3D 位置與不同尺度的語言嵌入相關聯。LERF 可以在測試期間以任意尺度查詢語言場以獲得 3D 相關性映射。

由于從多尺度的多個視圖中提取 CLIP 嵌入，因此通過 LERF 的 3D CLIP 嵌入獲得的文本查詢的相關性映射與通過 2D CLIP 嵌入獲得的相比更加本地化（localized），并且是 3D 一致的，可以直接在 3D 場中進行查詢，而無需渲染多個視圖。

LERF 需要在以樣本點為中心的體積上學習語言嵌入場。具體來說，該場的輸出是包含指定體積的圖像裁剪的所有訓練視圖的平均 CLIP 嵌入。通過將查詢從點重構為體積，LERF 可以有效地從輸入圖像的粗略裁剪中監督密集場，這些圖像可以通過在給定的體積尺度上進行調節以像素對齊的方式呈現。

LERF 本身會產生連貫的結果，但生成的相關性映射有時可能是不完整的，并且包含一些異常值，如下圖 5 所示。

為了規范優化的語言場，該研究通過共享瓶頸引入了自監督的 DINO。

在架構方面，優化 3D 中的語言嵌入不應該影響底層場景表征中的密度分布，因此該研究通過訓練兩個獨立的網絡來捕獲 LERF 中的歸納偏置（inductive bias）：一個用于特征向量（DINO、CLIP），另一個用于標準 NeRF 輸出（顏色、密度）。

實驗

為了展示 LERF 處理真實世界數據的能力，該研究收集了 13 個場景，其中包括雜貨店、廚房、書店、小雕像等場景。圖 3 選擇了 5 個具有代表性的場景，展示了 LERF 處理自然語言的能力。

圖 3

圖 7 為 LERF 與 LSeg 的 3D 視覺對比，在標定碗里的雞蛋中，LSeg 不如 LERF：

圖 8 表明，在有限的分割數據集上訓練的 LSeg 缺乏有效表示自然語言的能力。相反，它僅在訓練集分布范圍內的常見對象上表現良好，如圖 7 所示。

不過 LERF 方法還不算完美，下面為失敗案例，例如在標定西葫蘆蔬菜時，會出現其他蔬菜：