解決跨域小樣本物體檢測(cè)問題，入選ECCV 2024。

最新研究認(rèn)為目前大多數(shù)跨域小樣本學(xué)習(xí)方法均集中于研究分類任務(wù)而忽略了目標(biāo)檢測(cè)。

來自復(fù)旦大學(xué)、蘇黎世聯(lián)邦理工學(xué)院、INSAIT、東南大學(xué)、BOE科技的研究團(tuán)隊(duì)，提出了一個(gè)用于算法評(píng)測(cè)的CD-FSOD數(shù)據(jù)集及用于衡量領(lǐng)域差異的style、ICV、IB數(shù)據(jù)集指標(biāo)。

對(duì)現(xiàn)有目標(biāo)檢測(cè)算法進(jìn)行了廣泛實(shí)驗(yàn)評(píng)估。

除此之外，團(tuán)隊(duì)還提出了一種名為CD-ViTO的新方法，基于優(yōu)化一個(gè)在經(jīng)典FSOD上達(dá)到SOTA的開放域物體檢測(cè)器而得到。

CD-ViTO在多數(shù)情況下優(yōu)于基準(zhǔn)，成為該任務(wù)的新SOTA。

目前該項(xiàng)研究已入選ECCV 2024，所有數(shù)據(jù)集、代碼、以及相關(guān)資源都已開源。

研究目的

跨域小樣本學(xué)習(xí)任務(wù)（Cross-Domain Few-Shot Learning，CD-FSL）解決的是源域與目標(biāo)域存在領(lǐng)域差異情況下的小樣本學(xué)習(xí)任務(wù)，即集合了小樣本學(xué)習(xí)與跨域兩個(gè)任務(wù)的難點(diǎn)問題：

• 源域S與目標(biāo)域T類別集合完全不同，且目標(biāo)域T中的類別僅存在少量標(biāo)注樣本，例如1shot，5shot；
• S與T屬于兩個(gè)不同領(lǐng)域，例如從自然圖像遷移到醫(yī)療圖像。

大多數(shù)的現(xiàn)有方法均集中于研究分類問題，即Cross-Domain Few-Shot Classification， 但是同樣很重要的物體檢測(cè)任務(wù)（Object Detection，OD）卻很少被研究，這促使了研究團(tuán)隊(duì)想要探究OD問題在跨域小樣本的情況下是否也會(huì)遭遇挑戰(zhàn)，以及是否會(huì)存在跟分類任務(wù)表現(xiàn)出不同的特性。

與CD-FSL是FSL在跨域下的分支類似，跨域小樣本物體檢測(cè)（Cross-Domain Few-Shot Object Detection，CD-FSOD）同樣也可以堪稱是FSOD在跨域下的分支任務(wù)。

所以研究團(tuán)隊(duì)先從經(jīng)典的FSOD開始分析。大多數(shù)的FSOD方法都可以被粗略地劃分為：

• meta-learning based，典型方法包括Meta-RCNN；
• finetuning based，例如TFA，F(xiàn)SCE，DeFRCN。

然而近期出現(xiàn)了一個(gè)名為DE-ViT的開放域方法，通過基于DINOv2構(gòu)建物體檢測(cè)器同時(shí)在FSOD以及開放域物體檢測(cè)（OVD）上都達(dá)到了SOTA的效果，性能明顯高于其他的FSOD方法，因此這引發(fā)了團(tuán)隊(duì)思考：

現(xiàn)有的FSOD方法，尤其是SOTA的DE-ViT open-set detector能不能在跨域的情況下仍表現(xiàn)優(yōu)異？

如果不能，什么是難點(diǎn)問題，以及是否有辦法能夠提升open-set detector的性能？

先用下圖來揭示一下問題的答案：

如上左圖所示，哪怕是SOTA的open-set detector DE-ViT（綠色星形）在跨域泛化的情況下性能也會(huì)出現(xiàn)急劇下降。

而本文研究團(tuán)隊(duì)基于DE-ViT搭建的CD-ViTO方法 （橙色星形）能夠使原本性能下降的模型得以進(jìn)一步提升。

而右圖，展示了相比于in-domain的小樣本物體檢測(cè)，跨域小樣本物體檢測(cè)通常會(huì)面臨三個(gè)問題：

1）目標(biāo)域T的類間距離（ICV）通常較少；
2）目標(biāo)域的圖像可能會(huì)出現(xiàn)前景與背景邊界模糊（Indifinable Boundary，IB）；
3）目標(biāo)域T得圖像相較于源域S而言視覺風(fēng)格（style）發(fā)生變化。

ICV、IB、Style也成為了研究人員用于衡量不同數(shù)據(jù)集在跨域下的特性。

主要工作及貢獻(xiàn)

下面首先總結(jié)一下CD-ViTO團(tuán)隊(duì)在解答兩個(gè)問題的過程中的主要工作及貢獻(xiàn)：

Benchmark, Metrics, and Extensive study

為了回答問題1，即研究現(xiàn)有的物體檢測(cè)器能不能泛化至跨域小樣本物體檢測(cè)任務(wù)中：

研究人員研究了CD-FSOD任務(wù)下的三個(gè)影響跨域的數(shù)據(jù)集特性：Style, ICV, IB；提出了一個(gè)CD-FSOD算法評(píng)測(cè)數(shù)據(jù)集，該數(shù)據(jù)集包含多樣的style，ICV，IB；對(duì)現(xiàn)有物體檢測(cè)器進(jìn)行了廣泛研究，揭示了 CD-FSOD 帶來的挑戰(zhàn)。

New CD-ViTO Method

為了回答問題2，即進(jìn)一步提升基礎(chǔ)DE-ViT在CD-FSOD下的性能，研究團(tuán)隊(duì)提出了一個(gè)新的CD-ViTO方法，該方法提出三個(gè)新的模塊以解決跨域下的small ICV、indefinable boundary以及changing styles問題。

• Learnable Instance Features：通過將初始固定的圖像特征與目標(biāo)類別之間進(jìn)行對(duì)齊，通過增強(qiáng)特征可分辨程度來解決目標(biāo)域ICV距離小的問題 。
• Instance Reweighting Module：通過給不同的圖像設(shè)置不同的權(quán)重，使得嚴(yán)具有輕微 IB 的高質(zhì)量實(shí)例分配更高的重要性，從而緩解顯著的 IB 問題；
• Domain Prompter：通過合成虛擬領(lǐng)域而不改變語義內(nèi)容來鼓勵(lì)模型提升對(duì)不同style的魯棒性。

CD-FSOD數(shù)據(jù)集&Extensive Study

下圖為研究團(tuán)隊(duì)構(gòu)建的CD-FSOD數(shù)據(jù)集，該數(shù)據(jù)集以MS-COCO作為源域S，以ArTaxOr、Clipart1K，DIOR，DeepFish，NEU-DET，UODD作為六個(gè)不同的目標(biāo)域T；

團(tuán)隊(duì)也分析并在圖中標(biāo)注了每個(gè)數(shù)據(jù)集的Style、ICV、IB特征，每個(gè)數(shù)據(jù)與數(shù)據(jù)之間也展現(xiàn)了不同的數(shù)據(jù)集特性。

所有的數(shù)據(jù)集都整理成了統(tǒng)一的格式，并提供1shot、5shot、10shot用于模型測(cè)評(píng)。

數(shù)據(jù)集更多的介紹，比如數(shù)據(jù)類別數(shù)，樣本數(shù)等可以在論文中找到細(xì)節(jié)。

Extensive Study

團(tuán)隊(duì)對(duì)現(xiàn)有的四類目標(biāo)檢測(cè)器進(jìn)行了實(shí)驗(yàn)，包括：

• 典型的FSOD方法：Meta-RCNN、TFA、FSCE、DeFRCN
• 現(xiàn)有的CD-FSOD方法：Distill-cdfsod
• 基于ViT的方法：ViTDeT-FT
• 開放域方法：Detic（-FT）， DE-ViT（-FT） (DE-ViT僅利用視覺信息，Deti則依賴視覺-文本相似性）

其中“-FT”表示團(tuán)隊(duì)用目標(biāo)域T的少量樣本對(duì)方法進(jìn)行了微調(diào)。

團(tuán)隊(duì)結(jié)合實(shí)驗(yàn)結(jié)果對(duì)這個(gè)任務(wù)以及相關(guān)方法展開了詳細(xì)的分析，主要有以下這幾點(diǎn)結(jié)論：

• 現(xiàn)有FSOD方法可以泛化到跨域問題嗎？A：不能
• 基于ViT的方法會(huì)比基于ResNet的方法好嗎？A：看情況
• 開放域方法能夠直接用于應(yīng)對(duì)CD-FSOD問題？A：不能
• 開放域方法的性能可以進(jìn)一步得到提升嗎？A：可以
• 不同的開放域方法是否呈現(xiàn)不同的特性？A：是的
• Style，ICV，IB是如何影響domain gap的？A：在分類里影響巨大的style對(duì)于OD任務(wù)而言影響相對(duì)較少；ICV有較大影響但是可以被有效緩解；IB是這三者中最具挑戰(zhàn)的。

詳細(xì)的分析就不在這里展開了，感興趣的朋友可以看看文章。

CD-ViTO方法&主要實(shí)驗(yàn)

本文方法整體框架結(jié)構(gòu)圖如下所示：

整體來看，本文研究團(tuán)隊(duì)的方法是基于DE-ViT搭建的（圖中藍(lán)色塊）， 首先將DE-ViT方法簡(jiǎn)化為圖中所示的幾個(gè)模塊，主要包括Pretrained DINOv2 ViT， RPN，ROI Align， Instance Features， Dection Head，One-vs-Rest Classification Head。

DE-ViT的核心想法是利用DINOv2提取出來的視覺特征對(duì)query image boxes與support images中所構(gòu)建出來的類別prototypes進(jìn)行比較，從來進(jìn)行分類和定位。

基于DE-ViT方法，團(tuán)隊(duì)提出了三個(gè)新的模塊（圖中黃色塊）以及finetune（圖中火苗）以搭建CD-ViTO。如前所述，每個(gè)模塊都各自對(duì)應(yīng)解決CD-FSOD下存在的一個(gè)挑戰(zhàn)。

Learnable Instance Features

原本的DE-ViT首先利用DINOv2獲取instance features，然后簡(jiǎn)單對(duì)同類特征求和的方式得到support的class prototypes。

然而在面對(duì)目標(biāo)域類別之間可能很相似的情況，直接使用這種預(yù)訓(xùn)練的模型所提取出的特征會(huì)導(dǎo)致難以區(qū)分不同類別。

因此團(tuán)隊(duì)提出將原本固定的特征設(shè)置為可學(xué)習(xí)參數(shù)，并通過結(jié)合finetune方法將其顯式地映射到目標(biāo)域類別中，以此增加不同類之間的特征差異程度，緩解ICV問題。

團(tuán)隊(duì)對(duì)比了使用該模塊前后的類間cosine相似性，結(jié)果說明他們的模塊可以降低類間相似度，從而提升ICV。

Instance Reweighting Module

圖像模糊邊界的問題本身很難得到解決，這個(gè)模塊的主要想法是通過學(xué)習(xí)可調(diào)整的權(quán)重給不同質(zhì)量的樣本賦不同的權(quán)重，使得嚴(yán)重IB的圖像被抑制，沒有或者輕微IB地圖像被鼓勵(lì)。

模塊的設(shè)計(jì)如框架圖右上所示，主要包含一個(gè)可學(xué)習(xí)的MLP。

同樣的，團(tuán)隊(duì)也對(duì)該模塊做了可視化分析，他們按照所分配到的權(quán)重從高到低給圖像排序，得到如下結(jié)果。從圖中可見，前后景邊緣模糊的圖像得到的權(quán)重要低于邊緣清晰的圖像。

Domain Prompter

Domain Prompter的設(shè)計(jì)主要是希望方法能夠?qū)Σ煌膁omain魯棒，如框架圖右下所示，在原有object prototype的基礎(chǔ)上，團(tuán)隊(duì)額外引入數(shù)量為$N_{dom}$維度為D（等于prototype維度）的虛擬domains變量作為可學(xué)習(xí)參數(shù)。通過學(xué)習(xí)和利用這些domains，他們希望最終達(dá)到：

1） 不同domain之間相互遠(yuǎn)離，增加多樣性 （domain diversity loss）

2） 添加不同domain至同一類別prototype所生成得到的兩個(gè)變種仍為正樣本，添加不同domain至不同類別prototype生成得到的兩個(gè)變種為負(fù)樣本 （prototype consistency loss）

兩個(gè)loss與finetuning所產(chǎn)生的loss疊加使用進(jìn)行網(wǎng)絡(luò)的整體訓(xùn)練。

如下T-SNE可視化圖說明學(xué)習(xí)到的domains之間相互遠(yuǎn)離；疊加不用domains至class prototype不影響語義變化。

作為簡(jiǎn)單但有效的遷移學(xué)習(xí)方法，團(tuán)隊(duì)也采用了在目標(biāo)域T上對(duì)模型進(jìn)行微調(diào)的思路，論文附錄部分有提供不同finetune策略的不同性能表現(xiàn)，團(tuán)隊(duì)主方法里采用的是僅微調(diào)兩個(gè)頭部。

團(tuán)隊(duì)在1/5/10shot上與其它方法進(jìn)行了對(duì)比實(shí)驗(yàn)。

實(shí)驗(yàn)說明經(jīng)過優(yōu)化后的CD-ViTO方法在大多數(shù)情況下都優(yōu)于其它的對(duì)比方法，達(dá)到了對(duì)基本DE-ViT的有效提升，構(gòu)建了這個(gè)任務(wù)的新SOTA。

論文鏈接：https://arxiv.org/pdf/2402.03094
網(wǎng)頁鏈接：http://yuqianfu.com/CDFSOD-benchmark/
GitHub鏈接：https://github.com/lovelyqian/CDFSOD-benchmark
中文講解視頻：https://www.bilibili.com/video/BV11etbenET7/?spm_id_from=333.999.0.0
英文講解視頻：https://www.bilibili.com/video/BV17v4UetEdF/?vd_source=668a0bb77d7d7b855bde68ecea1232e7#reply113142138936707