[[397024]]

領(lǐng)域泛化 (Domain Generalization, DG) 是近幾年非常熱門(mén)的一個(gè)研究方向。它研究的問(wèn)題是從若干個(gè)具有不同數(shù)據(jù)分布的數(shù)據(jù)集（領(lǐng)域）中學(xué)習(xí)一個(gè)泛化能力強(qiáng)的模型，以便在未知(Unseen) 的測(cè)試集上取得較好的效果。

本文介紹 DG 領(lǐng)域的第一篇綜述文章《Generalizing to Unseen Domains: A Survey on Domain Generalization》。該論文一共調(diào)研了 160 篇文獻(xiàn)，其中直接與領(lǐng)域泛化相關(guān)的有 90 篇。文章從問(wèn)題定義、理論分析、方法總結(jié)、數(shù)據(jù)集和應(yīng)用介紹、未來(lái)研究方向等幾大方面對(duì)領(lǐng)域泛化問(wèn)題進(jìn)行了詳細(xì)的概括和總結(jié)。

該論文的精簡(jiǎn)版已被國(guó)際人工智能頂會(huì)IJCAI-21錄用。

文章鏈接：
https://arxiv.org/abs/2103.03097

PDF：https://arxiv.org/pdf/2103.03097

作者單位：微軟亞洲研究院、中央財(cái)經(jīng)大學(xué)

問(wèn)題定義

領(lǐng)域泛化問(wèn)題與領(lǐng)域自適應(yīng) (Domain Adaptation，DA) 最大的不同：DA 在訓(xùn)練中，源域和目標(biāo)域數(shù)據(jù)均能訪(fǎng)問(wèn)（無(wú)監(jiān)督 DA 中則只有無(wú)標(biāo)記的目標(biāo)域數(shù)據(jù)）；而在 DG 問(wèn)題中，我們只能訪(fǎng)問(wèn)若干個(gè)用于訓(xùn)練的源域數(shù)據(jù)，測(cè)試數(shù)據(jù)是不能訪(fǎng)問(wèn)的。毫無(wú)疑問(wèn)，DG 是比 DA 更具有挑戰(zhàn)性和實(shí)用性的場(chǎng)景：畢竟我們都喜歡「一次訓(xùn)練、到處應(yīng)用」的足夠泛化的機(jī)器學(xué)習(xí)模型。

例如，在下圖中，DA 問(wèn)題假定訓(xùn)練集和測(cè)試集都可以在訓(xùn)練過(guò)程中被訪(fǎng)問(wèn)，而 DG 問(wèn)題中則只有訓(xùn)練集。

DG 問(wèn)題的示意圖如下所示，其形式化定義如下：

DG 不僅與 DA 問(wèn)題有相似之處，其與多任務(wù)學(xué)習(xí)、遷移學(xué)習(xí)、元學(xué)習(xí)、終身學(xué)習(xí)等，都有一些類(lèi)似和差異之處。我們?cè)谙卤碇袑?duì)它們的差異進(jìn)行了總結(jié)。

理論

我們從 Domain adaptation 理論出發(fā)，分析影響不同領(lǐng)域?qū)W習(xí)結(jié)果的因素，如 -divergence、-divergence 等，繼而過(guò)渡到領(lǐng)域 Domain generalization 問(wèn)題中，分析影響模型泛化到新領(lǐng)域的因素。從理論上總結(jié)了領(lǐng)域泛化問(wèn)題的重要結(jié)果，為今后進(jìn)行相關(guān)研究指明了理論方向。

詳細(xì)結(jié)果請(qǐng)參考原文第 3 部分。

方法

領(lǐng)域泛化方法是我們的核心。我們將已有的領(lǐng)域泛化方法按照數(shù)據(jù)操作、表征學(xué)習(xí)、學(xué)習(xí)策略分為三大方面，如下圖所示。

其中：

數(shù)據(jù)操作，指的是通過(guò)對(duì)數(shù)據(jù)的增強(qiáng)和變化使訓(xùn)練數(shù)據(jù)得到增強(qiáng)。這一類(lèi)包括數(shù)據(jù)增強(qiáng)和數(shù)據(jù)生成兩大部分。

表征學(xué)習(xí)，指的是學(xué)習(xí)領(lǐng)域不變特征 (Domain-invariant representation learning) 以使得模型對(duì)不同領(lǐng)域都能進(jìn)行很好地適配。領(lǐng)域不變特征學(xué)習(xí)方面主要包括四大部分：核方法、顯式特征對(duì)齊、領(lǐng)域?qū)褂?xùn)練、以及不變風(fēng)險(xiǎn)最小化(Invariant Risk Minimiation, IRM)。特征解耦與領(lǐng)域不變特征學(xué)習(xí)的目標(biāo)一致、但學(xué)習(xí)方法不一致，我們將其單獨(dú)作為一大類(lèi)進(jìn)行介紹。

學(xué)習(xí)策略，指的是將機(jī)器學(xué)習(xí)中成熟的學(xué)習(xí)模式引入多領(lǐng)域訓(xùn)練中使得模型泛化性更強(qiáng)。這一部分主要包括基于集成學(xué)習(xí)和元學(xué)習(xí)的方法。同時(shí)，我們還會(huì)介紹其他方法，例如自監(jiān)督方法在領(lǐng)域泛化中的應(yīng)用。

在文章中，我們對(duì)每大類(lèi)方法都進(jìn)行了詳細(xì)地介紹與總結(jié)。

應(yīng)用與數(shù)據(jù)集

領(lǐng)域泛化問(wèn)題在眾多領(lǐng)域都得到了廣泛應(yīng)用。大多數(shù)已有工作偏重于設(shè)計(jì)更好的 DG 方法，因此，其往往都在圖像分類(lèi)數(shù)據(jù)上進(jìn)行評(píng)估。除此之外，DG 方法還被應(yīng)用于行人再識(shí)別(Re-ID)、語(yǔ)義分割、街景識(shí)別、視頻理解等計(jì)算機(jī)視覺(jué)的主流任務(wù)中。

特別地，DG 方法被廣泛應(yīng)用于健康醫(yī)療領(lǐng)域，例如帕金森病識(shí)別、組織分割、X 光胸片識(shí)別、以及震顫?rùn)z測(cè)等。

在自然語(yǔ)言處理領(lǐng)域，DG 被用于情感分析、語(yǔ)義分割、網(wǎng)頁(yè)分類(lèi)等應(yīng)用。

DG 也在強(qiáng)化學(xué)習(xí)、自動(dòng)控制、故障檢測(cè)、語(yǔ)音檢測(cè)、物理學(xué)、腦機(jī)接口等領(lǐng)域中得到了廣泛應(yīng)用。

下圖展示了領(lǐng)域泛化問(wèn)題中流行的標(biāo)準(zhǔn)數(shù)據(jù)集。

未來(lái)挑戰(zhàn)

我們對(duì) DG 進(jìn)行以下展望：

連續(xù)領(lǐng)域泛化：一個(gè)系統(tǒng)應(yīng)具有連續(xù)進(jìn)行泛化和適配的能力，目前只是離線(xiàn)狀態(tài)的一次應(yīng)用。

新類(lèi)別的領(lǐng)域泛化：目前我們假定所有的領(lǐng)域具有相同的類(lèi)別，未來(lái)需要擴(kuò)展到不同類(lèi)別中、乃至新類(lèi)別中。

可解釋的領(lǐng)域泛化：盡管基于解耦的方法在可解釋性上取得了進(jìn)步，但是，其他大類(lèi)的方法的可解釋性仍然不強(qiáng)。未來(lái)需要對(duì)它們的可解釋性進(jìn)行進(jìn)一步研究。

大規(guī)模預(yù)訓(xùn)練與領(lǐng)域泛化：眾所周知，大規(guī)模預(yù)訓(xùn)練（如 BERT）已成為主流，那么在不同問(wèn)題的在規(guī)模預(yù)訓(xùn)練中，我們?nèi)绾卫?DG 方法來(lái)進(jìn)一步提高這些預(yù)訓(xùn)練模型的泛化能力？

領(lǐng)域泛化的評(píng)價(jià)：盡管有工作在經(jīng)驗(yàn)上說(shuō)明已有的領(lǐng)域泛化方法的效果并沒(méi)有大大領(lǐng)先于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，但其只是基于最簡(jiǎn)單的分類(lèi)任務(wù)。我們認(rèn)為 DG 需要在特定的評(píng)測(cè)，例如行人再識(shí)別中才能最大限度地發(fā)揮其作用。未來(lái)，我們需要找到更適合 DG 問(wèn)題的應(yīng)用場(chǎng)景。