擁擠場景中基于深度學習的目標檢測
在擁擠的場景中進行物體檢測具有挑戰性。當物體聚集時，它們往往會在很大程度上彼此重疊，從而導致遮擋。由相同類別的對象引起的遮擋稱為類內遮擋，也稱為人群遮擋。物體檢測器需要確定人群中不同物體的位置，并準確描繪其邊界。即使對于人類注釋者，許多情況也極具挑戰性。在自動駕駛中，至少有幾種場景需要處理擁擠場景中的物體檢測：停車場或城市街道中的車輛檢測以及十字路口上的行人檢測。
用于行人和車輛檢測的擁擠場景示例
人群場景的挑戰
擁擠場景用于物體檢測較為困難有以下幾種原因。
- 當對象彼此嚴重重疊時，不同實例的語義特征也會交織在一起，并使扇區難以區分實例邊界。
- 即使檢測器成功地區分并檢測到實例，它們仍然可以通過非最大抑制(NMS)進行抑制。NMS(甚至是其改進的版本soft-NMS和matrix-NMS)遵循一個隱含的假設，即具有高重疊度的檢測框對應于同一對象，因此需要分組并簡化為一個框。這個假設相當合理，但是，在擁擠的場景中，物體不再相互遮擋和重疊，這種假設不再適用。
- 包含或專門從事人群檢測的許多數據集(CrowdHuman，CityPersons，WiderPersons等)和實際應用程序(自動駕駛)都需要模態對象檢測。這意味著檢測器會預測一個覆蓋整個對象的盒子，即使它在圖像中不完全可見，例如由于其他對象的部分遮擋也是如此。實際上，這就是人類對環境的看法。由于無模態邊界框之間的重疊通常比可見邊界框高得多，這進一步使對象檢測復雜化。
可見邊界框與非模態邊界框
非極大值抑制(NMS)的困境
人群檢測的最關鍵挑戰可能是NMS。如下所示，人群對象檢測中幾乎所有現有的作品都可以在NMS上或直接在NMS上工作。盡管現代物體檢測器中的大多數零件都是端到端可訓練的，但NMS仍然是人類最后制造的組件之一。NMS貪婪地選擇得分最高的邊界框，并壓制與其高度重疊的邊界框。重疊是通過將“交叉口相交”(IoU)閾值與通常在0.3到0.5之間的預定義閾值進行比較來測量的。NMS對閾值非常敏感-閾值越高，意味著抑制能力越低，可能會帶來更多的FP;閾值越低，意味著抑制性就越強，并且可能導致檢測漏檢。
藍色框顯示丟失的對象，紅色框突出顯示誤報
密集框改進的損失
為了降低檢測結果對NMS閾值的敏感性，一些研究提出了新的損失以確保更嚴格的預測。他們提出了額外的懲罰措施，以生產更緊湊的邊框，并且對NMS的敏感性降低。相應地，它們對出現在兩個行人中間的bbox施加了額外的懲罰，解決了人群對象檢測的問題之一。
RepLoss (在人群中檢測行人，CVPR 2018)提出了一種新穎的bbox回歸損失，專門針對人群場景設計。這不僅推動每個提案達到其設計目標，而且還使其遠離其他周圍物體。
RepGT損失會懲罰與非目標GT對象的重疊。RepBox的損失鼓勵了兩個具有不同指定目標的預測框之間的IoU區域需要很小。這意味著在NMS之后，具有diff回歸目標的預測框不太可能合并為一個。
AggLoss (可識別遮擋的R-CNN：在人群中檢測行人，ECCV 2018)提出了一個新的損失條款，以強制將提案緊湊地定位到指定的地面真實對象。具體而言，它會在錨的平均預測與相應的GT之間強制執行SL1損失。
RepLoss和AggLoss的比較
RepLoss和AggLoss都通過修改損失函數來鼓勵更緊密的bbox。但是，有時在NMS為對象檢測器的性能設置上限的高度擁擠的情況下，更嚴格的檢測結果也無濟于事。例如，在CrowdHuman數據集中，如果應用IoU閾值為0.5(源)的標準NMS，將在檢測中丟失近10%的地面實例。換句話說，即使是完美的檢測器(100%的召回率和精確的邊界框精度)也將無法在NMS之后檢測所有實例。
遮擋感知NMS
為了在擁擠的場景中實現更好的目標檢測性能，需要以更加原則化的方式解決NMS的瓶頸。許多論文努力重新設計NMS，以更適當地處理遮擋情況，同時又不降低正常情況下的性能。
自適應NMS(人群中的完善行人檢測，CVPR 2019口頭)指出，NMS的困境是由強制選擇單個閾值引起的。本文提出的自適應NMS應用了一種動態抑制策略，其中，閾值隨著實例的聚集和遮擋而升高，而當實例分別出現時則降低。它使用單獨的子網在線預測對象密度得分(或擁擠度)，并將其用作NMS的自適應閾值。對于高物體密度區域中的物體，使用最大動態閾值(fixed_threshold，crowdness)執行NMS。這可以在擁擠度得分高的擁擠區域自適應地調整閾值。就是說，擁擠度估計是一項艱巨的任務，并且回合真密度與預測邊界框的IoU之間通常存在不一致。
Double Anchor(用于在人群中進行人類檢測的Double Anchor R-CNN，Arxiv 2019)的開發旨在捕獲成對的身體和頭部。本文特別針對人類的檢測，并且其背后的直覺很簡單：與人體相比，頭部通常具有較小的比例，較少的重疊以及在真實世界圖像中的更好視線，因此姿勢更健壯變化和人群遮擋。該網絡基于Faster RCNN框架，可以預測頭部框和身體框，每個箱體都有一個置信度得分。然后，聯合NMS方法使用來自head bbox得分和body bbox得分的加權得分，如果身體重疊或頭部重疊超過某個閾值，則具有較低得分的盒子將被抑制。
Double Anchor的體系結構
Double Anchor的直覺很棒，但頭部框和身體框的概念僅限于行人檢測的范圍。幾乎按照定義，物體的可見部分受遮擋的影響要小得多。我們是否可以通過身體框和頭部箱重新定義為無模態全箱(封閉遮擋范圍)和可見框，使“雙錨”方法更通用?
R2-NMS (CVPR 2020)和VG-NMS(NeurIPS 2019研討會)正是做到了這一點。這兩項粗略的當代研究都預測了完整的bbox和可見區域，并將可見區域用于NMS。R2-NMS專注于擁擠的行人檢測，并使用類似Faster-RCNN的兩階段目標檢測框架，而VG-NMS則更多關注于停車場或城市場景中的擁擠車輛檢測，并使用類似于SDD的單階段對象檢測框架。
R2-NMS和VG-NMS的示意圖
CrowdDet (CVPR 2020)預測每個錨點進行多次檢測以進行人群檢測。預期來自同一錨點的預測框會推斷出相同的實例集，而不是像大多數對象檢測器中的單個預測范式那樣區分單個實例。修改后的集合NMS在很大程度上遵循正常的NMS程序，但是跳過了對來自相同錨點的預測的抑制。
由于每個錨點現在可以預測一組對象實例而沒有任何特定順序，因此需要修改損耗以測量兩組之間的距離。EMD(地球移動者的距離)損耗用于在所有匹配的排列中選擇損耗最小的最佳匹配。它還添加了將其類別標簽視為背景的虛擬框，并掩蓋了回歸損失。這些想法實際上與許多范式轉移的DETR論文非常相似，我將在后面寫總結。
單一預測與集合預測范例
上述人為的病理情況說明了單預測范例的基本局限性。在擁擠的場景中，從本質上很難從單個錨點預測單個實例，因為提案具有非常相似的功能。而且，在香草NMS之后，很可能只有一個預測能幸免。
盡管在自動駕駛和許多實際應用中，上述人為情況極不可能發生，但這確實是沒有設計現代物體檢測器無法處理的一個極端情況，無論是基于錨的一階段或兩階段或無錨。一般來說，物體檢測是要分辨物體在哪里以及物體有多大。但是，這種情況既有中心位置沖突(無法通過中心熱圖處理)又有大小沖突(無法通過多尺度特征圖處理)。
無網管
現在我們知道NMS是對象檢測器必不可少的弊端，為什么不消除它呢?有確實是最近的錨自由和NMS-無物體探測器波，最具代表性的是CenterNet(的arXiv 2019)和FCOS(ICCV 2019)為總體目標檢測和CSP (CVPR 2019)奉獻給行人檢測。
盡管無錨的方法可以消除傳統意義上的NMS，但必須在預測的中心熱圖中選擇局部最大值。這些免錨(或單錨，取決于您的查看方式)方法可以減輕基于錨的方法的NMS引起的問題。免錨方法的性能在很大程度上仍取決于如何制定檢測問題。正確的方法似乎仍然是R2-NMS / VG-NMS方法或CrowdDet方法。
用于無錨CSP的行人檢測的極其簡單的管道
沒有擁塞的密集場景
在以上所有研究中，我們假設場景擁擠且有遮擋。一個相關但略有不同的領域是在密集場景中(例如在架子上展示中)的物體檢測。在這樣的零售場景中，許多物體看起來相似或相同，并且通常放置得很近，但沒有太多的遮擋。通用物體檢測器在這里也會慘遭失敗。SKU110K (CVPR 2019)提出了一種EM合并算法來代替NMS來過濾，合并和拆分重疊的檢測簇，以解決每個對象的單個檢測問題。
RetinatNet與EM-merger算法之間的比較
結論
NMS是現代物體探測器的重要組成部分。NMS有一個基本的假設，即需要抑制高度重疊的預測，但只有一個。然而，擁擠的場景從定義上挑戰了這一假設。
人群對象檢測中幾乎所有現有的作品都在NMS上或直接在NMS上運作。RepLoss和AggLoss鼓勵更嚴格的邊界框預測，從而減輕了對NMS閾值的敏感性。
自適應NMS動態預測將在推理中使用的NMS閾值。聯合NMS(雙錨點)，R2-NMS，VG-NMS會為每個實例預測兩個盒子，并在NMS期間使用不太容易遮擋的盒子。Set NMS(CrowdDet)從根本上解決了大多數現代對象檢測器無法處理的位置和比例沖突的極端情況。預測一組邊界框的想法與DETR相似，并且可能是超越當前密集預測范式的對象檢測的未來。
在實踐中，R2-NMS和VG-NMS使用的方法似乎是處理遮擋的最實用方法，并且實際上應該處理大多數人群遮擋的情況。在NMS之前可視化檢測結果也似乎是功能強大的調試工具。
本文轉載 ??小白遇見AI?? ，作者：小煩
