2PCNet：晝夜無監督域自適應目標檢測
本文經計算機視覺研究院公眾號授權轉載，轉載請聯系出處。
01 前景概要
在使用公認的師生框架的方法中，特別是對于小規模和低光物體，仍然可以觀察到假陽性誤差傳播。我們提出了一種兩階段一致性無監督領域自適應網絡2PCNet來解決這些問題。該網絡在第一階段使用來自教師的高置信度邊界框預測，并將其附加到學生的區域建議中，供教師在第二階段重新評估，從而產生高置信度和低置信度偽標簽的組合。夜間圖像和偽標簽在用作學生的輸入之前被縮小，從而提供更強的小規模偽標簽。為了解決圖像中弱光區域和其他夜間相關屬性引起的錯誤，我們提出了一種稱為NightAug的夜間特定增強管道。該管道涉及將隨機增強（如眩光、模糊和噪聲）應用于日間圖像。在公開數據集上的實驗表明，我們的方法比最先進的方法和直接在目標數據上訓練的監督模型獲得了20%的優越結果。
02 背景&動機
夜間目標檢測在許多應用中都是至關重要的。然而，通過監督方法對注釋數據的要求是不切實際的，因為帶有注釋的夜間數據很少，并且監督方法通常容易過度擬合訓練數據。除其他原因外，這種稀缺性是由于光線條件差，使得夜間圖像難以注釋。因此，不假設注釋可用性的方法更有優勢。領域自適應（DA）是解決這一問題的有效方法，它允許使用現成的注釋源日間數據集。
為了解決這個問題，我們提出了2PCNet，一種用于夜間目標檢測的兩階段一致性無監督域自適應網絡。我們的2PCNet將在第一階段預測的高度自信的偽標簽的邊界框與學生的區域建議網絡（RPN）提出的區域合并在一起。然后，教師在第二階段使用合并后的提議來生成一組新的偽標簽。這提供了高置信度和低置信度偽標簽的組合。然后將這些偽標簽與學生生成的預測進行匹配。然后，我們可以利用加權一致性損失來確保無監督損失的更高權重基于更強的偽標簽，但允許較弱的偽標簽影響訓練。
配備了這種兩階段策略，我們解決了小規模對象的錯誤問題。我們設計了一種學生縮放技術，故意縮小學生的夜間圖像及其偽標簽。為了生成準確的偽標簽，教師的圖像保持在其全尺寸。這導致更容易預測的較大對象的偽標簽被縮小到較小的對象，從而提高學生的小規模表現。夜間圖像存在日間場景中未發現的多種復雜情況，如黑暗區域、眩光、突出的噪聲、突出的模糊、不平衡的照明等。所有這些都造成了問題，因為接受日間圖像訓練的學生更傾向于日間域的特征。為了緩解這個問題，我們提出了NightAug，一組隨機的夜間特定增強。NightAug包括在白天的圖像中添加模擬夜間條件的人造眩光、噪音、模糊等。通過NightAug，我們能夠減少學生網絡對源數據的偏見，而不會導致對抗性學習或計算密集型翻譯?？傮w而言，使用2PCNet，我們可以在圖1中看到我們的結果在質量上的改進。
03 新框架設計
我們的2PCNet的體系結構如下圖所示。我們的2PCNet由一個學生和一個教師網絡組成。該學生是一個多域網絡，在標記的白天圖像（用NightAug增強）和未標記的夜間圖像上進行訓練。老師專注于夜間圖像，為學生生成偽標簽，是學生的指數移動平均值（EMA）。
在初始預訓練階段之后，教師開始產生偽標簽，這允許學生初始化特征提取器和檢測器。在2PCNet的第一階段的每次迭代中，教師從夜間圖像中產生偽標簽。通過置信閾值對這些偽標簽進行過濾。這是為了確保只給學生高置信度的偽標簽。然后將來自偽標簽的邊界框與學生的RPN生成的區域建議相結合。合并后的區域建議然后用于從學生的RoI網絡生成預測。在第二階段，教師使用相同的合并區域建議來生成一組匹配的偽標簽，其中每個偽標簽都有從學生那里獲得的相應預測。
Two-Phase Consistency
由于日間源圖像和夜間目標圖像之間存在較大的域間隙，教師無法生成高質量的偽標簽。這種情況通常發生在整個場景中，但特別是對于具有強烈夜間特征的區域，例如弱光、眩光、不均勻照明等。教師只為與白天有更多相似性的區域生成自信的偽標簽，因為它偏向于白天域。這種偏差給使用硬閾值來過濾分類交叉熵損失的偽標簽的方法帶來了問題。剩下的偽標簽只包含具有日間屬性的簡單樣本。因此，學生不會從較難（例如較暗）的區域學習。
由于對難樣本（即具有高水平夜間屬性的區域）的了解最少，教師開始預測高度自信但不正確的偽標簽。當老師向學生提供這些不正確的偽標簽時，一個粘性循環開始了，老師反過來用不正確的知識更新。因此，錯誤通過訓練繼續傳播。在我們的案例中，這些誤差明顯發生在黑暗/眩光區域和小尺度物體中。為了解決錯誤傳播的問題，我們設計了一種兩階段的方法，將高置信度的偽標簽與其不太置信度的對應標簽結合在一起。這種組合允許自信標簽的高精度，并將不太自信標簽的額外知識提煉到學生身上。
（從左到右，從上到下）GT邊界框，教師預測的具有非極大抑制（NMS）和閾值（Bp）的邊界框，由Bp指導的學生預測的邊界框（Bstudent），以及教師預測的一致性損失的邊界框。
Student-Scaling
為了確保不會忘記先前標度的知識，應用了標度因子的高斯函數。高斯函數的范數是從調度值中獲得的。為了防止由于偽標簽太小而產生額外的噪聲，將去除面積低于閾值的標簽。
NightAug
夜間圖像有一系列日間場景中沒有的復雜情況。這導致了師生框架中的一個問題，即學生會偏向于源領域。以前的方法試圖解決這個問題，但要么需要計算密集型翻譯，要么在框架中添加額外的領域分類器，這使訓練變得復雜。我們提出了NightAug，一種夜間特定的增強管道，它是計算光，不需要訓練。NightAug由一系列增強組成，目的是引導白天圖像的特征與夜間圖像的特征相似。
NightAug：原始圖像（左上）和隨機增強的圖像：高斯模糊、伽馬校正、亮度、對比度、眩光、高斯噪聲和隨機剪切
每個增強都有一個應用的概率，增強的強度是隨機的。然后可以用原始圖像的隨機區域替換增強圖像的隨機區。該區域替換的概率隨著每次迭代而降低。
04 實驗及項目落地
Faster RCNN、Adaptive Teacher（AT）和我們的方法在SHIFT數據集上的定性結果，最右邊是真實值。我們可以觀察到，由于缺乏域自適應，Faster RCNN無法檢測對象，而與我們的方法相比，AT有大量的小誤報邊界框，我們提出的方法與GT非常相似。
目前在很多城市為了趕工，有許多工地都是夜晚進行作業，為了作業過程中的安全施工以及非員工潛入等問題，某建筑企業采用了AI技術進行安全生產和管理。
