李飛飛團隊新作：AI透視眼，穿越障礙看清你，渲染遮擋人體有新突破了

作者：機器之心 2024-01-04 12:49:00

最近，著名人工智能教授李飛飛在 X 上發布了有關 3D 人體渲染工作的新進展 —— 一種名為 Wild2Avatar 的新模型，該模型即使在有遮擋的情況下仍然能夠完整、高保真地渲染人體。

AR/VR 、電影和醫療等領域都在廣泛地應用視頻渲染人類形象。由于單目攝像頭的視頻獲取較為容易，因此從單目攝像頭中渲染人體一直是研究的主要方式。Vid2Avatar、MonoHuman 和 NeuMan 等方法都取得了令人矚目的成績。盡管只有一個攝像頭視角，這些方法仍能從新的視角準確地渲染人體。

不過，大多數現有的方法在渲染人體時都是針對較為理想的實驗場景進行設計的。在這些場景中，障礙物幾乎不存在，人的各個身體部分在每一幀中也都能全部展示出來。可這與現實場景大為不同。現實場景中常有多個障礙物，人體也會在移動過程中被障礙物遮擋。

大多數的神經渲染方法在處理現實世界的場景時都會因為遮擋而困難重重，其中一大原因就是缺乏監督。實際場景往往無法提供有關人體外觀、形狀和姿態的真實監督數據，因此模型需要根據現有的少量證據來推斷其他信息，而這十分具有挑戰性，尤其是大部分人體被遮擋的情況。

由于許多神經方法采用的基于點的渲染方案，當一個被遮擋和一個未被遮擋時，兩個非常接近的坐標會在渲染輸出上產生巨大差異。因此，那些未適應被遮擋場景的方法在遇到遮擋時經常會顯示出不完整的人體，或者渲染出漂浮物和其他視覺上的錯誤。

Wild2Avatar 是一種適用于有遮擋的野外單目視頻的神經渲染方法。研究團隊提出了遮擋感知場景參數化，將場景解耦為三個部分 —— 遮擋、人體和背景，分別渲染這三個部分，并設計了新穎的優化目標。

論文地址：https://arxiv.org/pdf/2401.00431.pdf
項目地址：https://cs.stanford.edu/~xtiange/projects/wild2avatar/

方法介紹

Wild2Avatar 可以為帶有遮擋的野外單目視頻渲染具有完整幾何形狀和高保真外觀的 3D 人體。Wild2Avatar 模型的整體架構如下圖 2 所示：

具體來說，Wild2Avatar 將遮擋物、人體和背景建模為三個獨立的神經場，無論遮擋物如何，都能對人體進行清晰的三維重建。為此，該研究采用場景自分解技術，在倒球參數化（inverted sphere parametrization）的基礎上，提出了遮擋感知場景參數化。

除了倒球參數化定義的第一個球外，該研究還引入了第二個內球，并將從攝像機到內球邊緣的區域定義為遮擋區域。通過單獨渲染這一區域，Wild2Avatar 成功將遮擋與場景的其他部分分離開來。

此外，為了確保高保真和完整地渲染人體，該研究提出通過像素光度損失、場景分解損失、遮擋解耦損失和幾何完整性損失的組合來匯總三種渲染。

實驗及結果

數據集

OcMotion：該數據集由人體與各種物體接觸的室內場景組成，同時被這些物體部分遮擋。研究者從該數據集的 48 個視頻中選用了 5 個，它們展示了不同程度的遮擋。他們從每個視頻中只抽取了 100 幀來訓練模型，并使用數據集提供的相機矩陣、人體姿態和 SMPL 參數來初始化優化過程。幀內的二進制人體分割掩碼是通過「分割一切 (SAM)」獲得的。

野外視頻：研究者對兩段真實世界的視頻進行了額外的實驗，其中一段是從 YouTube 下載的，另一段是研究團隊使用手機攝像頭拍攝的。他們從這兩段視頻中抽取了 150 幀進行訓練，并使用 SLAHMR 獲取了攝像機矩陣、人體姿勢和 SMPL 參數。由于沒有提供真實姿態，因此對這些視頻的評估也表明了各種方法對不準確估計的穩健性。

被遮擋單目攝像頭視頻上的結果

圖 5 比較了 Vid2Avatar 和 Wild2Avatar 在兩個數據集上的渲染結果。