在機器學習和計算機視覺中，讓機器準確地識別和理解手和物體之間的交互動作，那是相當費勁。

要么拿個杯子半天抓不到杯把：

要么打開一個盒子手部跟觸電了似的：

抑或是各種稀奇古怪的手部「畸變」：

這都是因為手物交互動作中噪聲干擾，比如手和物體的遮擋等，導致機器難以獲得準確的信息。那么，如何解決這些「討厭」的噪聲呢？

近日，清華大學、上海人工智能實驗室和上海期智研究院發布了一篇名為《 GeneOH Diffusion:Towards Generalizable Hand-Object Interaction Denoising via Denoising Diffusion》的論文，提出了一種新的去噪方法 ——GeneOH Diffusion。該研究已被ICLR 2024接收。

• 論文：
  ???https://arxiv.org/abs/2402.14810??
• 代碼地址：
  ???https://github.com/Meowuu7/GeneOH-Diffusion??
• 項目網站：
  ???https://meowuu7.github.io/GeneOH-Diffusion/??
• YouTube 視頻：
  ???https://youtu.be/ySwkFPJVhHY??
• Hugging Face Demo：
  ???https://huggingface.co/spaces/xymeow7/gene-hoi-denoising??

GeneOH Diffusion 主要用于改善手和物體交互（Hand-Object Interaction, HOI）過程中的噪聲問題。簡單來說，就是當機器或者計算機視覺系統嘗試追蹤和理解手和物體之間的交互時，經常會因為各種原因（比如遮擋、光線變化等）出現誤差。這篇論文提出的技術就是用來減少這些誤差，使得機器能夠更準確地理解和模擬手與物體之間的交互。

研究動機

干凈的手物交互數據在很多下游任務，如 AR、VR 和 Robotics 中都有廣闊的應用前景，但如何以一種可擴展的方式獲取自然真實的手物交互數據是一個極具挑戰性的問題。研究者無論是采用數據采集的策略，設計算法從其他數據模態中獲得手物交互序列，還是借助生成模型的強大生成能力，所得到的數據都不可避免地被各種各樣無法預測的噪聲干擾（圖 1）。這些噪聲可能來源于采集設備有限的精度或者相關算法的誤差。

一種能夠從含有噪聲的數據中恢復出清晰、真實手物交互序列的方法，構成了連接低成本手物交互數據源和高質、實用數據之間的橋梁。正是在這一過程中，手物交互去噪模型的獨特價值和重要性得以凸顯。

圖 1：手物交互序列中多樣且復雜的噪聲類型

從含有噪聲的交互序列中恢復出真實的數據，這是一個本質上困難的重構問題。在實際的去噪應用場景中，由于輸入數據的物體、交互動作和噪聲特征都具有不可預測性，同時去噪模型的訓練數據又受到限制，因此模型的泛化能力變得尤為關鍵，同時也是設計去噪模型時最具挑戰性的地方。

盡管交互序列去噪問題并非一個全新的研究領域，但在以往的工作中，無論是采用基于規則的方法還是數據驅動的方法，「如何在訓練數據有限的情況下，構建一個具有高度泛化能力的模型」這一問題并未得到充分的重視和深入研究。而正是在這樣的背景下，GeneOH Diffusion（如圖 2 所示）旨在探索和實現可泛化的手物交互去噪技術。

圖 2：通過在有限的數據上進行訓練，GeneOH Diffusion 可以很好地泛化到新穎的帶有復雜噪聲特征的交互序列上（圖 a），并可以從一段輸入中恢復出多樣且自然的交互序列（圖 b），且是一個實用的工具（圖 c）。

GeneOH Diffusion：可泛化的手物交互序列去噪方法

GeneOH Diffusion 重新思考了設計數據驅動的去噪模型的兩個關鍵問題 ——「什么是易于泛化的手物交互序列表示方法」和 「什么是對噪聲特征不敏感，且易于在不同類型噪聲數據上泛化的去噪方法」，并通過兩個關鍵性的設計來增強去噪模型的泛化性。

首先，為了有效增加模型對新穎物體和手物交互動作的可泛化性，GeneOH Diffusion 通過在局部接觸區域參數化交互信息，來對齊各種各樣的手物交互序列。

具體來講，GeneOH Diffusion 設計了一套以廣義接觸點為中心的、包含手物時空交互信息的序列表征，名為 GeneOH。GeneOH 包括 位姿標準化后的手物軌跡、以廣義接觸點為中心的手物空間關系表征、以及以廣義接觸點為中心的手物時間關系表征。（圖 3）

圖 3：可泛化的手物交互序列表征 GeneOH

為了增加去噪模型泛化到新噪聲分布上的能力，GeneOH Diffusion 摒棄了前人確定性映射的去噪方法，提出使用擴散模型刻畫手物交互信息的分布，并通過先擴散 — 后去噪的方式，極大地提高了模型對具有沒見過的復雜噪聲特征的數據的泛化能力。

具體而言，GeneOH Diffusion 先將輸入的有噪聲的數據通過前向擴散的方式對齊到一個統一的噪聲空間，之后對擴散的數據進行去噪。最后，為了去除復雜多樣的手物交互序列中的噪聲，GeneOH Diffusion 設計了一種有效的層級式去噪方法，通過對不自然的手型、有噪聲的手物空間關系和有噪聲的手物時間關系進行逐步去噪，最終恢復出一段自然真實的手物交互序列（圖 4）。

圖 4：層級式去噪和易于在不同噪聲類型之間泛化的先擴散 - 后去噪的去噪范式

可泛化去噪結果展示

GeneOH Diffusion 僅在有限的 GRAB 數據集上進行訓練，盡管它只接觸過有限的交互序列和簡單的擴散模型中的高斯噪聲，但它仍然能夠有效地泛化到新的交互序列上。這些新序列不僅包含了未見過的物體，還涵蓋了創新的交互動作，并且帶有復雜的、真實世界中的噪聲特征（見圖 5）

圖 5：在 GRAB，GRAB（Beta），HOI4D 和 ARCTIC 上的去噪結果部分展示

最令人驚訝的是，GeneOH Diffusion 僅僅在包含剛性物體交互數據上進行了訓練，但它依然能夠近乎完美地復原出一段自然真實的人打開剪刀的序列（見圖 6）。即便輸入數據未能提供有效的接觸信息，并且包含了由視覺算法錯誤導致的異常噪聲，經過 GeneOH Diffusion 去噪處理后的序列仍然展現出了合理的接觸點、自然的手部運動軌跡，以及手物運動一致的操控動作。

圖 6：泛化到非常困難的、具有復雜的真實的噪聲特征序列上的動畫示例

基于生成模型，GeneOH Diffusion 具備隨機去噪的能力，這與去噪過程中所面臨的一對多的問題特質相吻合（見圖 7）。

圖 7：隨機去噪結果展示

同時 GeneOH Diffusion 具有廣闊的應用價值。它可以修正從視頻中預測的手物交互序列，去除運動重定向所產生的噪聲，并可以提高生成模型所生成的數據的質量（圖 8）。

本文轉自 機器之心 ，作者：機器之心

原文鏈接:??https://mp.weixin.qq.com/s/9LOUNGHYCSuHk-bTq1veUQ??