以下文章來源于王晉東不在家 ，作者王晉東

編者按：近年來，遷移學(xué)習(xí)中的領(lǐng)域泛化正引起越來越多的關(guān)注，其在眾多領(lǐng)域都得到了廣泛應(yīng)用。在 IJCAI 2021 上，微軟亞洲研究院研究員王晉東發(fā)表了該領(lǐng)域的第一篇綜述論文，梳理總結(jié)了領(lǐng)域泛化方向的發(fā)展現(xiàn)狀與未來發(fā)展方向。

領(lǐng)域泛化（Domain Generalization, DG）是近幾年非常熱門的一個研究方向。它研究的問題是從若干個具有不同數(shù)據(jù)分布的數(shù)據(jù)集（領(lǐng)域）中學(xué)習(xí)一個泛化能力強的模型，以便在未知（Unseen）的測試集上取得較好的效果。

本文是介紹領(lǐng)域泛化的第一篇綜述文章《Generalizing to Unseen Domains: A Survey on Domain Generalization》。該論文一共調(diào)研了168篇文獻，其中直接與領(lǐng)域泛化相關(guān)的有90篇。文章從問題定義、理論分析、方法總結(jié)、數(shù)據(jù)集和應(yīng)用介紹、未來研究方向等幾大方面對領(lǐng)域泛化問題進行了詳細(xì)的概括和總結(jié)。

該論文的精簡版已被國際人工智能頂會 IJCAI 2021 錄用。

文章鏈接：

https://arxiv.org/abs/2103.03097

PDF：https://arxiv.org/pdf/2103.03097

作者單位：微軟亞洲研究院、中央財經(jīng)大學(xué)

問題定義

領(lǐng)域泛化問題與領(lǐng)域自適應(yīng)（Domain Adaptation, DA）最大的不同：領(lǐng)域自適應(yīng)在訓(xùn)練中，源域和目標(biāo)域數(shù)據(jù)均能訪問（無監(jiān)督領(lǐng)域自適應(yīng)中則只有無標(biāo)記的目標(biāo)域數(shù)據(jù)）；而在領(lǐng)域泛化問題中，我們只能訪問若干個用于訓(xùn)練的源域數(shù)據(jù)，測試數(shù)據(jù)是不能訪問的。毫無疑問，領(lǐng)域泛化是比領(lǐng)域自適應(yīng)更具有挑戰(zhàn)性和實用性的場景：畢竟我們都喜歡「一次訓(xùn)練、到處應(yīng)用」的足夠泛化的機器學(xué)習(xí)模型。

例如，在下圖中，領(lǐng)域自適應(yīng)問題假定訓(xùn)練集和測試集都可以在訓(xùn)練過程中被訪問，而領(lǐng)域泛化問題中則只有訓(xùn)練集。

圖1：PACS數(shù)據(jù)集中領(lǐng)域泛化示例。訓(xùn)練集數(shù)據(jù)由簡筆畫、卡通畫、藝術(shù)畫作構(gòu)成的圖片。領(lǐng)域泛化的目的是學(xué)習(xí)一個在未知目標(biāo)域中表現(xiàn)良好的泛化模型。

領(lǐng)域泛化問題的示意圖如下所示，其形式化定義如下：

圖2：領(lǐng)域泛化示意圖

領(lǐng)域泛化不僅與領(lǐng)域自適應(yīng)問題有相似之處，其與多任務(wù)學(xué)習(xí)、遷移學(xué)習(xí)、元學(xué)習(xí)、終身學(xué)習(xí)等，都有一些類似和差異之處。我們在下表中對它們的差異進行了總結(jié)。

表1：領(lǐng)域泛化與其它相關(guān)學(xué)習(xí)范式對比

理論

我們從領(lǐng)域自適應(yīng)理論出發(fā)，分析影響不同領(lǐng)域?qū)W習(xí)結(jié)果的因素，如 圖片-divergence、圖片-divergence 等，繼而過渡到領(lǐng)域泛化問題中，分析影響模型泛化到新領(lǐng)域的因素。從理論上總結(jié)了領(lǐng)域泛化問題的重要結(jié)果，為今后進行相關(guān)研究指明了理論方向。

詳細(xì)結(jié)果請參考原文第 3 部分。

方法

領(lǐng)域泛化方法是我們的核心。我們將已有的領(lǐng)域泛化方法按照數(shù)據(jù)操作、表征學(xué)習(xí)、學(xué)習(xí)策略分為三大方面，如下圖所示。

圖3：領(lǐng)域泛化方法分類

其中：

數(shù)據(jù)操作，指的是通過對數(shù)據(jù)的增強和變化使訓(xùn)練數(shù)據(jù)得到增強。這一類包括數(shù)據(jù)增強和數(shù)據(jù)生成兩大部分。

表征學(xué)習(xí)，指的是學(xué)習(xí)領(lǐng)域不變特征（Domain-invariant representation learning）以使得模型對不同領(lǐng)域都能進行很好地適配。領(lǐng)域不變特征學(xué)習(xí)方面主要包括四大部分：核方法、顯式特征對齊、領(lǐng)域?qū)褂?xùn)練、以及不變風(fēng)險最小化（Invariant Risk Minimiation, IRM）。特征解耦與領(lǐng)域不變特征學(xué)習(xí)的目標(biāo)一致、但學(xué)習(xí)方法不一致，我們將其單獨作為一大類進行介紹。

學(xué)習(xí)策略，指的是將機器學(xué)習(xí)中成熟的學(xué)習(xí)模式引入多領(lǐng)域訓(xùn)練中使得模型泛化性更強。這一部分主要包括基于集成學(xué)習(xí)和元學(xué)習(xí)的方法。同時，我們還會介紹其他方法，例如自監(jiān)督方法在領(lǐng)域泛化中的應(yīng)用。

在文章中，我們對每大類方法都進行了詳細(xì)地介紹與總結(jié)。

應(yīng)用與數(shù)據(jù)集

領(lǐng)域泛化問題在眾多領(lǐng)域都得到了廣泛應(yīng)用。大多數(shù)已有工作偏重于設(shè)計更好的領(lǐng)域泛化方法，因此，其往往都在圖像分類數(shù)據(jù)上進行評估。除此之外，領(lǐng)域泛化方法還被應(yīng)用于行人再識別（Re-ID）、語義分割、街景識別、視頻理解等計算機視覺的主流任務(wù)中。

特別地，領(lǐng)域泛化方法被廣泛應(yīng)用于健康醫(yī)療領(lǐng)域，例如帕金森病識別、組織分割、X 光胸片識別、以及震顫檢測等。

在自然語言處理領(lǐng)域，領(lǐng)域泛化被用于情感分析、語義分割、網(wǎng)頁分類等應(yīng)用。

領(lǐng)域泛化也在強化學(xué)習(xí)、自動控制、故障檢測、語音檢測、物理學(xué)、腦機接口等領(lǐng)域中得到了廣泛應(yīng)用。

下圖展示了領(lǐng)域泛化問題中流行的標(biāo)準(zhǔn)數(shù)據(jù)集。

表2：領(lǐng)域泛化8個主流數(shù)據(jù)集

未來挑戰(zhàn)

我們對領(lǐng)域泛化進行了以下展望：

連續(xù)領(lǐng)域泛化：一個系統(tǒng)應(yīng)具有連續(xù)進行泛化和適配的能力，目前只是離線狀態(tài)的一次應(yīng)用。

新類別的領(lǐng)域泛化：目前我們假定所有的領(lǐng)域具有相同的類別，未來需要擴展到不同類別中、乃至新類別中。

可解釋的領(lǐng)域泛化：盡管基于解耦的方法在可解釋性上取得了進步，但是，其他大類的方法的可解釋性仍然不強。未來需要對它們的可解釋性進行進一步研究。

大規(guī)模預(yù)訓(xùn)練與領(lǐng)域泛化：眾所周知，大規(guī)模預(yù)訓(xùn)練（如 BERT）已成為主流，那么在不同問題的在規(guī)模預(yù)訓(xùn)練中，我們?nèi)绾卫妙I(lǐng)域泛化方法來進一步提高這些預(yù)訓(xùn)練模型的泛化能力？

領(lǐng)域泛化的評價：盡管有工作在經(jīng)驗上說明已有的領(lǐng)域泛化方法的效果并沒有大大領(lǐng)先于經(jīng)驗風(fēng)險最小化，但其只是基于最簡單的分類任務(wù)。我們認(rèn)為領(lǐng)域泛化需要在特定的評測，例如行人再識別中才能最大限度地發(fā)揮其作用。未來，我們需要找到更適合領(lǐng)域泛化問題的應(yīng)用場景。