本文經計算機視覺研究院公眾號授權轉載，轉載請聯系出處。

一、簡要

目標檢測模型在定位和分類訓練期間顯示目標時表現良好，然而，由于創建和注釋檢測數據集的難度和成本，訓練過的模型檢測到數量有限的目標類型，未知目標被視為背景內容。這阻礙了傳統檢測器在現實應用中的采用，如大規模物體匹配、visual grounding、視覺關系預測、障礙檢測（確定物體的存在和位置比找到特定類型更重要）等。

有研究者提出類不可知目標檢測作為一個新問題，專注于檢測對象的對象類。具體地說，其目標是預測圖像中所有對象的邊界框，而不是預測它們的對象類。預測的框可以被另一個系統使用，以執行特定于應用程序的分類、檢索等。

提出了針對類不可知檢測器的基準測試的訓練和評估協議，以推進該領域的未來研究。最后，研究者提出了：（1)基線方法和(2）一個新的用于類無關檢測的對抗性學習框架，它迫使模型從用于預測的特征中排除特定于類的信息。實驗結果表明，對抗性學習方法提高了類不可知性的檢測效率。

二、背景介紹

會有同學會問“目標檢測中bbox回歸中class-agnostic和class-specific的區別在哪？”。今天我們簡單說一下，然后開始今天主框架的分析。

• class-specific 方式：很多地方也稱作class-aware的檢測，是早期Faster RCNN等眾多算法采用的方式。它利用每一個RoI特征回歸出所有類別的bbox坐標，最后根據classification 結果索引到對應類別的box輸出。這種方式對于ms coco有80類前景的數據集來說，并不算效率高的做法。
• class-agnostic 方式：只回歸2類bounding box，即前景和背景，結合每個box在classification 網絡中對應著所有類別的得分，以及檢測閾值條件，就可以得到圖片中所有類別的檢測結果。當然，這種方式最終不同類別的檢測結果，可能包含同一個前景框，但實際對精度的影響不算很大，最重要的是大幅減少了bbox回歸參數量。具體細節，自己參考目前一些開源算法源碼會理解的更好。（摘自于知乎包文韜）

Class-agnostic目標檢測器使用object proposal methods (OPMs), conventional class-aware detectors和提出的adversarially trained class-agnostic detectors。如下圖：

綠色和紫紅色分別是真值和檢測結果。三、新框架

• General Framework

傳統的類感知檢測側重于檢測“感興趣的對象”，這本質上要求模型能夠區分封閉已知集合中的對象類型。直觀地說，模型通過編碼區分對象類型的特征來實現這一點。然而，為了使類不可知的檢測和模型能夠檢測到以前看不見的對象類型，檢測器應該編碼能夠更有效地區分對象與背景內容、單個對象與圖像中的其他對象的特征，而不區分對象類型。

訓練傳統的目標檢測器的二元分類任務以及邊界框回歸不足以確保模型關注類無關特征，更重要的是，忽略類型區分特征，以便更好地推廣到看不見的目標類型。為了克服這個問題，研究者建議以一種對抗性的方式訓練類不可知的目標檢測器，以便模型因編碼包含目標類型信息的編碼特征而受到懲罰。

研究者提議用對抗性鑒別器分支來增強類不可知的檢測器，這些分支試圖從檢測網絡上游輸出的特征中分類對象類型（在訓練數據中注釋），如果模型訓練成功，則對其進行懲罰。模型以交替的方式訓練，這樣當模型的其余部分更新時，鑒別器被凍結，反之亦然。在更新鑒別器時，研究者使用標準的分類交叉熵損失的目標類型作為預測目標。另一方面，在訓練模型的其余部分時，最小化(a)目標與否分類的交叉熵損失，(b)邊界框回歸的平滑L1損失，以及(c)鑒別器預測的負熵。這種熵最大化迫使檢測模型的上游部分從其輸出的特征中排除目標類型信息。對于模型的每次更新，鑒別器被更新五次，在整個目標中使用乘子α（調整{0.1,1}）對負熵進行加權。上圖總結了完整的框架。

四、實驗

Generalization results for FRCNN models trained on the seen VOC dataset. The top row shows macro-level AR@kfor seen and unseen classes in VOC and their harmonic mean (AR-HM). FRCNN-agnostic-adv performs the best overall. The second row shows micro-level results for the easy, medium, and hard unseen classes. FRCNN-agnostic-adv performs the best on the hard and easy classes with recall drop for the medium class. The last row provides results of evaluation on the COCO data of 60 unseen classes. FRCNN-agnostic-adv achieves the best AR@k for objects of all sizes.

Generalization results for SSD models trained on the seen VOC dataset. The top row shows macro-level AR@kfor seen and unseen classes in VOC as well as their harmonic mean (AR-HM). SSD-agnostic-adv performs the best on AR- Unseen and AR-HM, with a drop in AR-Seen, but the models that outperform SSD-agnostic-adv on AR-Seen do significantly worse on AR-Unseen and AR-HM. The second row shows micro-level results for the easy, medium, and hard unseen classes. SSD-agnostic-adv performs the best in all categories. The last row provides results of evaluation on the COCO data of 60 unseen classes. SSD-agnostic-adv achieves the best AR@k with a slight reduction for small-sized objects.