Deliberated Domain Bridging for Domain Adaptive Semantic Segmentation

論文：https://arxiv.org/abs/2209.07695

代碼：https://github.com/xiaoachen98/DDB

域自適應(yīng)語義分割（Domain Adaptive Semantic Segmentation, DASS）旨在利用大量有標(biāo)注的源域數(shù)據(jù)和未標(biāo)注的目標(biāo)域數(shù)據(jù)，然后把知識從源域遷移到目標(biāo)域中。先前的DASS方法大多試圖直接把源域?qū)W到的知識遷移到目標(biāo)域中，然而巨大的領(lǐng)域差異往往會限制這些方法的有效性，只能取得次優(yōu)的性能。為了緩解這個問題，一些方法通過在輸入空間（style transfer類方法），或輸出空間（self-training類方法）進行域橋接（domain bridging, DB）來在領(lǐng)域間逐漸地遷移知識。

通過前人的實驗以及我們自己的復(fù)現(xiàn)結(jié)果的發(fā)現(xiàn)，這些基于style transfer的方法總是會產(chǎn)生一些不利于密集預(yù)測的偽影（尤其是在高分辨率場景下）。為了能夠在輸入空間和輸出空間都能夠構(gòu)建中間域，我們求助于一些data mix技術(shù)。我們首先把這些data mix技術(shù)分為兩類，即全局插值（如mix-up）和局部替換（如cutmix）。然后，我們構(gòu)建了一個簡單的自訓(xùn)練pipeline來驗證這些DB方法的有效性：

從表1可以發(fā)現(xiàn)基于局部替換的DB方法要優(yōu)于其它類型的DB方法，并且從表1(c)中還可以發(fā)現(xiàn)CutMix（region level）和ClassMix（class level）這兩個DB技術(shù)混合使用可以帶來一些性能增益。這個觀察引起了我們的注意，于是我們可視化了兩個方法訓(xùn)練出的模型特征分布和預(yù)測：

從上圖可以發(fā)現(xiàn)，region level的 DB方法訓(xùn)練出的模型更關(guān)注目標(biāo)的上下文信息而損害一些特征的可判別性（正確分割出火車類但特征分布比較松散），class level的DB方法訓(xùn)練出的模型則更傾向于挖掘目標(biāo)自身的特性而忽略了目標(biāo)的上下文信息（有更緊湊的特征分布但完全混淆了火車和公交車）。這種互補的特性引起了我們的興趣以及進一步的探究。

核心思想：充分利用region level的DB方法和class level的DB方法的互補特性，得到更優(yōu)的性能。

方法流程：概括來說，我們采用了雙路徑領(lǐng)域橋接（DPDB）步驟和跨路徑知識蒸餾（CKD）步驟交替進行的訓(xùn)練策略來取長補短，相互促進。具體來說，我們先用region level DB和class level DB進行自訓(xùn)練，得到兩個互補的教師模型（DPDB）。接著各自在目標(biāo)域上計算出每個類別的prototype用于計算下一步CKD步驟中的ensemble權(quán)重圖。在CKD步驟中，我們隨機初始化一個學(xué)生模型，在目標(biāo)域上用DPDB中得到的兩個互補教師模型來進行多教師硬蒸餾，并且每個位置與對應(yīng)類別的prototype距離會被用來動態(tài)加權(quán)兩個教師模型的預(yù)測。通過CKD可以得到優(yōu)于所有教師模型的學(xué)生模型，這個學(xué)生模型的權(quán)重會用來初始化下一個階段的DPDB的模型，達到交替訓(xùn)練的目的。算法偽代碼如下：

我們的方法除了可應(yīng)用于標(biāo)準(zhǔn)的單源-單目標(biāo)的設(shè)定外，還不需要任何定制化設(shè)計即可在多源-單目標(biāo)以及單源-多目標(biāo)的設(shè)定上取得優(yōu)異性能。

此外，我們還進行了完整的消融實驗和互補性實驗來驗證motivation以及所提策略的有效性。從表5可以發(fā)現(xiàn)硬蒸餾，適應(yīng)性集成，以及交替訓(xùn)練的有效性。從表6可以看出region level DB和class level DB方法的互補性。從圖3的預(yù)測圖中也可以看出兩種DB方法的互補性，以及我們提出的DDB可以很好地集成各自的優(yōu)點，青出于藍而勝于藍。

本文簡單的介紹了DDB的研究動機，方法介紹和簡單實驗分析其有效性。論文和補充材料中有更加詳細的討論，并且有更詳細的細節(jié)描述。希望我們的工作能夠給DASS帶來一些有意思的見解。