本文經計算機視覺研究院公眾號授權轉載，轉載請聯系出處。

1.概述    

目前的OD算法對于長距離的小物體的成功率有限。為了提高這項任務的準確性和效率，我們提出了一套新的算法，將圖像劃分為塊，選擇具有不同尺度對象的塊，詳細說明小對象的細節，并盡早檢測到它。我們的方法建立在transformer的網絡上，并集成了擴散模型以提高檢測精度。如在BDD100K，我們的算法將小目標的mAP從1.03提高到8.93，并將計算中的數據量減少了77%以上。

2.背景    

物體檢測（OD）在許多現實場景的應用中發揮著至關重要的作用，如自動駕駛和機器人。盡管針對這項任務的各種算法激增，但現有方法在早期目標檢測方面仍然面臨重大挑戰，這是實現快速和主動決策的關鍵方面。在這樣的場景中，由于距離長，捕獲圖像中的對象的大小通常會顯著減小。

如上圖所示，當圖像僅包含有限數量的對象，并且由于數據量不足，目標檢測的性能顯著不理想。為了應對這一挑戰，我們可以利用超分辨率（SR）算法來重建更高分辨率的圖像，從而增加可用于后續目標檢測模型的數據。SR也是計算機視覺中的一個經典問題，擁有大量為該任務量身定制的解決方案。

最近，與生成對抗性網絡（GAN）相比，擴散模型，如DDPM，在圖像生成方面表現出了顯著的能力，并表現出了更大的穩定性。此外，專注于條件擴散模型（CDM）應用于SR的研究取得了顯著進展。通過利用擴散模型生成高分辨率圖像，我們可以顯著提高目標檢測性能。然而，擴散模型具有巨大的計算成本，這對自動駕駛等現實的應用構成了挑戰。從上圖中的圖像示例來看，圖像的整體細化會對背景像素造成相當大的計算負擔，導致資源的過度浪費，對OD沒有任何有意義的貢獻。

3.新框架詳細分解

如下圖所示，DPR包括三個關鍵模塊：Patch-Selector, Patch-Refiner, Patch-Organizer。Patch-Selector模塊負責提取補丁特征并執行分類。接下來，Patch-Refiner模塊詳細闡述了正補丁，利用CDM將其重建到更高的分辨率，從而提高了目標檢測精度。最后，為了完全展示我們提出的方法的效率和準確性，我們使用廉價的插值技術來放大負補丁，并將所有補丁組織成完整的圖像，以便于與原始圖像進行直接比較。接下來我們對所有模塊進行了詳細討論，并概述了算法1中提出的DPR的具體訓練過程。此外，算法2詳細說明了采樣和測試過程。

Patch-Selector模塊的設計如下圖：(a)利用分層結構編碼器，輸入圖像被嵌入到三個不同尺度的特征中。隨后，對這些特征中的補丁進行分類和聚合，以形成最終輸出。(b)每個變換器層（TL）包括一個特征合并塊和多個基于窗口的自關注塊。

4.實驗及可視化    

為了權衡計算和性能，在下表中對將圖像從64×64放大到512×512時的不同閾值進行了補丁分類實驗。第二排的mAP為4.33，是最佳選擇，計算量減少了63%。

對于具有相同閾值的從128×128到1024×1024的FBDD上采樣，我們的PS模塊僅輸出22.8%的CDM生成和OD補丁，并且與CDM相比，PS的FLOP可以忽略不計，這意味著與全圖像生成相比，我們節省了77.2%的計算，如下表所示：

上圖顯示了集成補丁后BI和DPR的可視化比較。雖然DPR生成的總體圖像看起來與BI相似，但包含對象的關鍵補丁顯示出更精細的細節，這表明CDM只需要處理少量數據，從而實現更高效的計算。