ICLR 2024 | 跨領域準確進行零樣本異常檢測，浙大等提出AnomalyCLIP
零樣本異常檢測（ZSAD）允許檢測模型僅利用輔助數據進行訓練，從而在沒有任何目標數據集訓練樣本的情況下檢測異常。這在因各種原因（如數據隱私問題）無法獲取訓練數據時非常關鍵。
然而，這項任務面臨的挑戰在于，模型需要能夠跨不同領域泛化異常檢測能力，尤其是前景對象、異常區域及背景特征（比如不同產品或器官上的缺陷或腫瘤）在不同應用中可能大相徑庭。
為了改進 CLIP 模型，來自浙江大學、新加坡管理大學、哈佛大學的研究者聯合提出 AnomalyCLIP，使其能在不同領域中更準確地進行零樣本異常檢測。AnomalyCLIP 的核心思想是學習一種與對象不相關的文本提示技術（object-agnostic learning），這種技術能夠捕捉到圖像中的一般性正常和異常特征，而不依賴于任何特定的前景對象，從而在多種語義的對象上實現泛化的異常識別。在 17 個來自不同領域（如缺陷檢測和醫療成像）的真實世界異常檢測數據集上進行的大規模實驗證明， AnomalyCLIP 在跨域且高度多樣化類別語義的數據中實現了卓越的零樣本異常檢測和分割能力。
- 論文名稱：AnomalyCLIP: Object-agnostic Prompt Learning for Zero-shot Anomaly Detection
- 文章地址：https://arxiv.org/pdf/2310.18961.pdf
- 代碼地址：https://github.com/zqhang/AnomalyCLIP
背景
傳統的異常檢測方法通常需要在特定應用領域內有可用的訓練樣本來學習檢測模型。然而，在某些情況下，這個假設可能并不成立，比如訪問訓練數據會違反數據隱私政策，或者目標領域內根本就沒有可用的訓練數據。
圖 1: 不同文本提示方法的結果對比。
由于不同應用場景中異常的視覺外觀、前景對象和背景特征存在很大差異，例如不同產品表面的缺陷、不同器官上的病變或腫瘤，或者是工業缺陷與醫學圖像中腫瘤 / 病變的對比，我們需要能夠針對這些變化進行準確零樣本異常檢測（ZSAD）的檢測模型，這要求模型具有強大的泛化能力。
最近，大型預訓練的視覺 - 語言模型（VLMs）在包括異常檢測在內的多種視覺任務上展示了出色的零樣本識別能力。特別是，通過使用數以百萬計的圖像 - 文本對進行預訓練，CLIP 在強化各種下游任務的泛化能力方面發揮了巨大作用。然而，CLIP 這類 VLM 主要是為了學習前景對象的類別語義，而不是圖像中的異常 / 正常模式，因此它們在理解視覺異常 / 正常性方面的泛化能力有限，導致在 ZSAD 性能方面表現不佳。
此外，當前使用的文本提示方法，如圖 1d 和圖 1e 所示，無論是手動定義的文本提示還是可學習的文本提示，往往會導致提示文本嵌入偏向于全局特征以實現有效的對象語義對齊，而忽略了通常表現在細節、局部特征中的異常。
方法介紹
AnomalyCLIP 旨在通過學習對象不相關的文本提示來讓 CLIP 實現不同領域中的準確 ZSAD，從而捕獲圖像中的通用正常性和異常性，如圖 2 所示。AnomalyCLIP 首先為 “正常” 和 “異常” 這兩個廣泛的類別設計了一個簡單而普遍有效的可學習的文本提示模板，然后通過使用輔助數據，結合圖像級別和像素級別的損失函數來讓提示嵌入學習圖像中存在的通用正常和異常模式。
這樣，AnomalyCLIP 可以專注于圖像中的異常區域而非對象的語義，使其能夠零樣本的識別出與輔助數據中相似的異常模式。如圖 1a 和圖 1b 所示，盡管輔助數據和目標數據中前景對象的語義完全不同時，但是其異常模式保持相似，例如金屬螺母和板材上的劃痕、晶體管和 PCB 的錯位、不同器官表面的腫瘤 / 病變等。而 CLIP 的文本提示嵌入在不同領域間的泛化能力有限，如圖 1c 所示。不同的是，AnomalyCLIP 學習到的對象不相關的文本提示嵌入能夠有效地泛化，識別出跨領域圖像中的異常，如圖 1f 所示。AnomalyCLIP只需要微調一次，就能夠泛化地捕捉不同對象、場景甚至跨領域的異常。其他的沒有了。
圖 2: AnomalyCLIP 框架圖
實驗結果
該研究在 17 個公開可用的數據集上進行了大量實驗，涵蓋了各種工業檢測場景和醫學成像領域（包括攝影、內窺鏡和放射學），以評估 AnomalyCLIP 的性能。在工業檢測方面，該研究考慮了 MVTec AD、VisA、MPDD、BTAD、SDD、DAGM 和 DTD-Synthetic 等數據集。在醫學成像方面，該研究考慮了皮膚癌檢測數據集 ISIC、結腸息肉檢測數據集 CVC-ClinicDB 和 CVC-ColonDB、Kvasir、Endo、甲狀腺結節檢測數據集 TN3k、腦瘤檢測數據集 HeadCT、BrainMRI、Br35H 和 COVID-19 檢測數據集 COVID-19。最先進的 baseline 包括 CLIP、CLIP-AC、WinCLIP、VAND 和 CoOp。論文附錄提供了有關方法和數據預處理的更多細節。
表 1：工業領域零樣本異常檢測性能比較。最佳性能以紅色突出顯示，次佳性能以藍色突出顯示。?表示結果來自原始論文。（除了 MVTec AD 數據集以外，其他所有結果均由 MVTec AD fine-tuining 得到）
各種工業檢測領域的零樣本異常檢測性能
表 1 展示了 AnomalyCLIP 與五種 baseline 在七個工業缺陷數據集上的零樣本異常檢測結果，這些數據集具有非常不同的前景對象、背景和 / 或異常類型。AnomalyCLIP 在這些數據集上取得了優越的零樣本異常檢測性能，大部分情況下明顯優于其他五種方法。CLIP 和 CLIP-AC 表現較差的原因在于 CLIP 的原始預訓練側重于對齊對象語義而非異常語義。WinCLIP 和 VAND 通過使用手動定義的文本提示獲得了更好的結果。另外，CoOp 采用了可學習的提示來學習全局異常語義。然而，這些提示專注于全局特征，忽略了細粒度的局部異常語義，導致它們在異常分割上表現不佳。為了將 CLIP 適應于零樣本異常檢測，AnomalyCLIP 學習了對象不相關的文本提示，通過全局和局部上下文優化，專注于學習通用的異常 / 正常模式，使得模型能夠有效識別全局和局部的異常。得到的提示還可以推廣到來自不同領域的不同數據集。為了提供更直觀的結果，該研究在圖 3 中可視化了 AnomalyCLIP、VAND 和 WinCLIP 在不同數據集上的異常分割結果。與 VAND 和 WinCLIP 相比，AnomalyCLIP 可以對來自不同工業檢測領域的缺陷進行更準確的異常分割。
圖 3: AnomalyCLIP 分割結果
表 2：醫療領域零樣本異常檢測性能比較。最佳性能以紅色突出顯示，次佳性能以藍色突出顯示。請注意，醫療異常檢測數據集往往不同時包含像素級和圖像級標簽，因此評估圖像級和像素級醫療異常檢測的數據集有所不同。
從缺陷數據集到多樣化的醫學領域數據集的泛化能力
為了評估模型的泛化能力，該研究進一步考察了 AnomalyCLIP 在 10 個不同器官、不同成像設備上的醫學圖像數據集上的零樣本異常檢測性能。表 2 展示了相關結果，其中包括 AnomalyCLIP、VAND 和 CoOp 等基于學習的方法，均使用 MVTec AD 數據進行fine-tuining。
值得注意的是，像 AnomalyCLIP 和 VAND 這樣的方法在各種醫學圖像數據集上取得了令人滿意的零樣本異常檢測性能，即使它們是使用缺陷檢測數據集進行調優的。在所有這些方法中，由于其通過對象不相關的提示學習帶來的強大泛化能力，AnomalyCLIP 是表現最佳的。
正如圖 3 所示，AnomalyCLIP 能夠準確檢測出不同醫學圖像中的各種異常類型，例如攝影圖像中的皮膚癌區域，內窺鏡圖像中的結腸息肉，超聲圖像中的甲狀腺結節以及 MRI 圖像中的腦腫瘤，其在定位異常病變 / 腫瘤區域方面的性能明顯優于另外兩種方法 WinCLIP 和 VAND。這再次證明了 AnomalyCLIP 在醫學成像領域高度多樣化的對象語義數據集中具有領先的零樣本異常檢測性能。
本文轉自 機器之心 ，作者：機器之心
