提高模型泛化能力是推動(dòng)基于視覺的感知方法落地的重要基礎(chǔ)，測(cè)試段訓(xùn)練和適應(yīng)（Test-Time Training/Adaptation）通過(guò)在測(cè)試段調(diào)整模型參數(shù)權(quán)重，將模型泛化至未知的目標(biāo)域數(shù)據(jù)分布段?，F(xiàn)有 TTT/TTA 方法通常著眼于在閉環(huán)世界的目標(biāo)域數(shù)據(jù)下提高測(cè)試段訓(xùn)練性能。

可是，在諸多應(yīng)用場(chǎng)景中，目標(biāo)域容易受到強(qiáng)域外數(shù)據(jù) (Strong OOD) 數(shù)據(jù)的污染，例如不相關(guān)的語(yǔ)義類別數(shù)據(jù)。在該場(chǎng)景又可稱為開放世界測(cè)試段訓(xùn)練 (OWTTT），在該場(chǎng)景下，現(xiàn)有 TTT/TTA 通常將強(qiáng)域外數(shù)據(jù)強(qiáng)行分類至已知類別，從而最終干擾對(duì)如收到噪聲干擾圖像的弱域外數(shù)據(jù)（Weak OOD）的分辨能力。

近日，來(lái)自華南理工大學(xué)和 A*STAR 團(tuán)隊(duì)首次提出開放世界測(cè)試段訓(xùn)練的設(shè)定，并推出了針對(duì)開放世界測(cè)試段訓(xùn)練的方法。

• 論文：https://arxiv.org/abs/2308.09942
• 代碼：https://github.com/Yushu-Li/OWTTT

本文首先提出了一種自適應(yīng)閾值的強(qiáng)域外數(shù)據(jù)樣本過(guò)濾方法，提高了自訓(xùn)練 TTT 方法的在開放世界的魯棒性。該方法進(jìn)一步提出了一種基于動(dòng)態(tài)擴(kuò)展原型來(lái)表征強(qiáng)域外樣本的方法，以改進(jìn)弱 / 強(qiáng)域外數(shù)據(jù)分離效果。最后，通過(guò)分布對(duì)齊來(lái)約束自訓(xùn)練。

本文的方法在 5 個(gè)不同的 OWTTT 基準(zhǔn)上實(shí)現(xiàn)了最優(yōu)的性能表現(xiàn)，并為 TTT 的后續(xù)研究探索面向更加魯棒 TTT 方法的提供了新方向。研究已作為 Oral 論文被 ICCV 2023 接收。

引言

測(cè)試段訓(xùn)練（TTT）可以僅在推理階段訪問(wèn)目標(biāo)域數(shù)據(jù)，并對(duì)分布偏移的測(cè)試數(shù)據(jù)進(jìn)行即時(shí)推理。TTT 的成功已經(jīng)在許多人工選擇的合成損壞目標(biāo)域數(shù)據(jù)上得到證明。然而，現(xiàn)有的 TTT 方法的能力邊界尚未得到充分探索。

為促進(jìn)開放場(chǎng)景下的 TTT 應(yīng)用，研究的重點(diǎn)已轉(zhuǎn)移到調(diào)查 TTT 方法可能失敗的場(chǎng)景。人們?cè)诟F(xiàn)實(shí)的開放世界環(huán)境下開發(fā)穩(wěn)定和強(qiáng)大的 TTT 方法已經(jīng)做出了許多努力。而在本文工作中，我們深入研究了一個(gè)很常見但被忽略的開放世界場(chǎng)景，其中目標(biāo)域可能包含從顯著不同的環(huán)境中提取的測(cè)試數(shù)據(jù)分布，例如與源域不同的語(yǔ)義類別，或者只是隨機(jī)噪聲。

我們將上述測(cè)試數(shù)據(jù)稱為強(qiáng)分布外數(shù)據(jù)（strong OOD）。而在本工作中被稱為弱 OOD 數(shù)據(jù)則是分布偏移的測(cè)試數(shù)據(jù)，例如常見的合成損壞。因此，現(xiàn)有工作缺乏對(duì)這種現(xiàn)實(shí)環(huán)境的研究促使我們探索提高開放世界測(cè)試段訓(xùn)練（OWTTT）的魯棒性，其中測(cè)試數(shù)據(jù)被強(qiáng) OOD 樣本污染。

圖 1 ：現(xiàn)有的 TTT 方法在 OWTTT 設(shè)定下的評(píng)估結(jié)果

如圖 1 所示，我們首先對(duì)現(xiàn)有的 TTT 方法在 OWTTT 設(shè)定下進(jìn)行評(píng)估，發(fā)現(xiàn)通過(guò)自訓(xùn)練和分布對(duì)齊的 TTT 方法都會(huì)受到強(qiáng) OOD 樣本的影響。這些結(jié)果表明，應(yīng)用現(xiàn)有的 TTT 技術(shù)無(wú)法在開放世界中實(shí)現(xiàn)安全的測(cè)試時(shí)訓(xùn)練。我們將它們的失敗歸因于以下兩個(gè)原因。

• 基于自訓(xùn)練的 TTT 很難處理強(qiáng) OOD 樣本，因?yàn)樗仨殞y(cè)試樣本分配給已知的類別。盡管可以通過(guò)應(yīng)用半監(jiān)督學(xué)習(xí)中采用的閾值來(lái)過(guò)濾掉一些低置信度樣本，但仍然不能保證濾除所有強(qiáng) OOD 樣本。
• 當(dāng)計(jì)算強(qiáng) OOD 樣本來(lái)估計(jì)目標(biāo)域分布時(shí)，基于分布對(duì)齊的方法將會(huì)受到影響。全局分布對(duì)齊 [1] 和類別分布對(duì)齊 [2] 都可能受到影響，并導(dǎo)致特征分布對(duì)齊不準(zhǔn)確。

考慮到現(xiàn)有 TTT 方法失敗的潛在原因，我們提出了兩種技術(shù)相結(jié)合來(lái)提高自訓(xùn)練框架下開放世界 TTT 的魯棒性。

首先，我們?cè)谧杂?xùn)練的變體上構(gòu)建 TTT 的基線，即在目標(biāo)域中以源域原型作為聚類中心進(jìn)行聚類。為了減輕自訓(xùn)練受到錯(cuò)誤偽標(biāo)簽的強(qiáng) OOD 的影響，我們?cè)O(shè)計(jì)了一種無(wú)超參數(shù)的方法來(lái)拒絕強(qiáng) OOD 樣本。

為了進(jìn)一步分離弱 OOD 樣本和強(qiáng) OOD 樣本的特征，我們?cè)试S原型池通過(guò)選擇孤立的強(qiáng) OOD 樣本擴(kuò)展。因此，自訓(xùn)練將允許強(qiáng) OOD 樣本圍繞新擴(kuò)展的強(qiáng) OOD 原型形成緊密的聚類。這將有利于源域和目標(biāo)域之間的分布對(duì)齊。我們進(jìn)一步提出通過(guò)全局分布對(duì)齊來(lái)規(guī)范自我訓(xùn)練，以降低確認(rèn)偏差的風(fēng)險(xiǎn)。

最后，為了綜合開放世界的 TTT 場(chǎng)景，我們采用 CIFAR10-C、CIFAR100-C、ImageNet-C、VisDA-C、ImageNet-R、Tiny-ImageNet、MNIST 和 SVHN 數(shù)據(jù)集，并通過(guò)利用一個(gè)數(shù)據(jù)集為弱 OOD，其他為強(qiáng) OOD 建立基準(zhǔn)數(shù)據(jù)集。我們將此基準(zhǔn)稱為開放世界測(cè)試段訓(xùn)練基準(zhǔn)，并希望這能鼓勵(lì)未來(lái)更多的工作關(guān)注更現(xiàn)實(shí)場(chǎng)景中測(cè)試段訓(xùn)練的穩(wěn)健性。

方法

論文分了四個(gè)部分來(lái)介紹所提出的方法。

1）概述開放世界下測(cè)試段訓(xùn)練任務(wù)的設(shè)定。

2）介紹了如何通過(guò)原型聚類實(shí)現(xiàn) TTT 以及如何擴(kuò)展原型以進(jìn)行開放世界測(cè)試時(shí)訓(xùn)練。

3）介紹了如何利用目標(biāo)域數(shù)據(jù)進(jìn)行動(dòng)態(tài)原型擴(kuò)展。

4）引入分布對(duì)齊與原型聚類相結(jié)合，以實(shí)現(xiàn)強(qiáng)大的開放世界測(cè)試時(shí)訓(xùn)練。

圖 2 ：方法概覽圖

任務(wù)設(shè)定

TTT 的目的是使源域預(yù)訓(xùn)練模型適應(yīng)目標(biāo)域，其中目標(biāo)域可能會(huì)相對(duì)于源域有分布遷移。在標(biāo)準(zhǔn)的封閉世界 TTT 中，源域和目標(biāo)域的標(biāo)簽空間是相同的。然而在開放世界 TTT 中，目標(biāo)域的標(biāo)簽空間包含源域的目標(biāo)空間，也就是說(shuō)目標(biāo)域具有未見過(guò)的新語(yǔ)義類別。

為了避免 TTT 定義之間的混淆，我們采用 TTAC [2] 中提出的順序測(cè)試時(shí)間訓(xùn)練（sTTT）協(xié)議進(jìn)行評(píng)估。在 sTTT 協(xié)議下，測(cè)試樣本被順序測(cè)試，并在觀察到小批量測(cè)試樣本后進(jìn)行模型更新。對(duì)到達(dá)時(shí)間戳 t 的任何測(cè)試樣本的預(yù)測(cè)不會(huì)受到到達(dá) t+k（其 k 大于 0）的任何測(cè)試樣本的影響。

原型聚類

受到域適應(yīng)任務(wù)中使用聚類的工作啟發(fā) [3,4]，我們將測(cè)試段訓(xùn)練視為發(fā)現(xiàn)目標(biāo)域數(shù)據(jù)中的簇結(jié)構(gòu)。通過(guò)將代表性原型識(shí)別為聚類中心，在目標(biāo)域中識(shí)別聚類結(jié)構(gòu)，并鼓勵(lì)測(cè)試樣本嵌入到其中一個(gè)原型附近。原型聚類的目標(biāo)定義為最小化樣本與聚類中心余弦相似度的負(fù)對(duì)數(shù)似然損失，如下式所示。

我們開發(fā)了一種無(wú)超參數(shù)的方法來(lái)濾除強(qiáng) OOD 樣本，以避免調(diào)整模型權(quán)重的負(fù)面影響。具體來(lái)說(shuō)，我們?yōu)槊總€(gè)測(cè)試樣本定義一個(gè)強(qiáng) OOD 分?jǐn)?shù) os 作為與源域原型的最高相似度，如下式所示。

圖 3 離群值呈雙峰分布

我們觀察到離群值服從雙峰分布，如圖 3 所示。因此，我們沒(méi)有指定固定閾值，而是將最佳閾值定義為分離兩種分布的的最佳值。具體來(lái)說(shuō)，問(wèn)題可以表述為將離群值分為兩個(gè)簇，最佳閾值將最小化中的簇內(nèi)方差。優(yōu)化下式可以通過(guò)以 0.01 的步長(zhǎng)窮舉搜索從 0 到 1 的所有可能閾值來(lái)有效實(shí)現(xiàn)。

動(dòng)態(tài)原型擴(kuò)展

擴(kuò)展強(qiáng) OOD 原型池需要同時(shí)考慮源域和強(qiáng) OOD 原型來(lái)評(píng)估測(cè)試樣本。為了從數(shù)據(jù)中動(dòng)態(tài)估計(jì)簇的數(shù)量，之前的研究了類似的問(wèn)題。確定性硬聚類算法 DP-means [5] 是通過(guò)測(cè)量數(shù)據(jù)點(diǎn)到已知聚類中心的距離而開發(fā)的，當(dāng)距離高于閾值時(shí)將初始化一個(gè)新聚類。DP-means 被證明相當(dāng)于優(yōu)化 K-means 目標(biāo)，但對(duì)簇的數(shù)量有額外的懲罰，為動(dòng)態(tài)原型擴(kuò)展提供了一個(gè)可行的解決方案。

為了減輕估計(jì)額外超參數(shù)的難度，我們首先定義一個(gè)測(cè)試樣本，其具有擴(kuò)展的強(qiáng) OOD 分?jǐn)?shù)作為與現(xiàn)有源域原型和強(qiáng) OOD 原型的最近距離，如下式。因此，測(cè)試高于此閾值的樣本將建立一個(gè)新的原型。為了避免添加附近的測(cè)試樣本，我們?cè)隽康刂貜?fù)此原型擴(kuò)展過(guò)程。

隨著其他強(qiáng) OOD 原型的確定，我們定義了用于測(cè)試樣本的原型聚類損失，并考慮了兩個(gè)因素。首先，分類為已知類的測(cè)試樣本應(yīng)該嵌入到更靠近原型的位置并遠(yuǎn)離其他原型，這定義了 K 類分類任務(wù)。其次，被分類為強(qiáng) OOD 原型的測(cè)試樣本應(yīng)該遠(yuǎn)離任何源域原型，這定義了 K+1 類分類任務(wù)?？紤]到這些目標(biāo)，我們將原型聚類損失定義為下式。

分布對(duì)齊約束

眾所周知，自訓(xùn)練容易受到錯(cuò)誤偽標(biāo)簽的影響。目標(biāo)域由 OOD 樣本組成時(shí)，情況會(huì)更加惡化。為了降低失敗的風(fēng)險(xiǎn)，我們進(jìn)一步將分布對(duì)齊 [1] 作為自我訓(xùn)練的正則化，如下式。

實(shí)驗(yàn)

我們?cè)?5 個(gè)不同的 OWTTT 基準(zhǔn)數(shù)據(jù)集中進(jìn)行測(cè)試，包括人工合成的損壞數(shù)據(jù)集和風(fēng)格變化的數(shù)據(jù)集。實(shí)驗(yàn)主要使用了三個(gè)評(píng)價(jià)指標(biāo)：弱 OOD 分類準(zhǔn)確率 ACCS、強(qiáng) OOD 分類準(zhǔn)確率 ACCN 和二者的調(diào)和平均數(shù) ACCH。

表 1 不同方法在 Cifar10-C 數(shù)據(jù)集的表現(xiàn)

表 2 不同方法在 Cifar100-C 數(shù)據(jù)集的表現(xiàn)

表 3 不同方法在 ImageNet-C 數(shù)據(jù)集的表現(xiàn)

表 4 不同方法在 ImageNet-R 數(shù)據(jù)集的表現(xiàn)

表 5 不同方法在 VisDA-C 數(shù)據(jù)集的表現(xiàn)

如上表所示，我們的方法在幾乎所有數(shù)據(jù)集上相較于目前最優(yōu)秀的方法都有比較大的提升，可以有效地識(shí)別強(qiáng) OOD 樣本，并減小其對(duì)弱 OOD 樣本分類的影響。我們的方法可以在開放世界的場(chǎng)景下實(shí)現(xiàn)更加魯棒的 TTT。

總結(jié)

本文首次提出了開放世界測(cè)試段訓(xùn)練（OWTTT）的問(wèn)題和設(shè)定，指出現(xiàn)有的方法在處理含有和源域樣本有語(yǔ)義偏移的強(qiáng) OOD 樣本的目標(biāo)域數(shù)據(jù)時(shí)時(shí)會(huì)遇到困難，并提出一個(gè)基于動(dòng)態(tài)原型擴(kuò)展的自訓(xùn)練的方法解決上述問(wèn)題。我們希望這項(xiàng)工作能夠?yàn)?TTT 的后續(xù)研究探索面向更加魯棒的 TTT 方法提供新方向。