2 背景

3 新框架分析

F-SSD: SSD with context by feature fusion

為了為給定的特征圖（目標(biāo)特征圖)在我們想要檢測(cè)目標(biāo)的位置提供上下文，研究者將其與目標(biāo)特征層更高層次的特征圖(上下文特征）融合。例如，在SSD中，給定我們來(lái)自conv4_3的目標(biāo)特性，我們的上下文特征來(lái)自兩層，它們是conv7和conv8_2。

雖然新框架的特征融合可以推廣到任何目標(biāo)特征和任何更高的特征。然而，這些特征圖具有不同的空間大小，因此研究者提出了如上圖所示的融合方法。在通過(guò)連接特征進(jìn)行融合之前，對(duì)上下文特征執(zhí)行反卷積，使它們具有與目標(biāo)特征相同的空間大小。將上下文特征通道設(shè)置為目標(biāo)特征的一半，因此上下文信息的數(shù)量就不會(huì)超過(guò)目標(biāo)特征本身。僅僅對(duì)于F-SSD，研究者還在目標(biāo)特征上增加了一個(gè)額外的卷積層，它不會(huì)改變空間大小和通道數(shù)的卷積層。

此外，在連接特征之前，標(biāo)準(zhǔn)化步驟是非常重要的，因?yàn)椴煌瑢又械拿總€(gè)特征值都有不同的尺度。因此，在每一層之后進(jìn)行批處理歸一化和ReLU。最后通過(guò)疊加特征來(lái)連接目標(biāo)特征和上下文特征。

A-SSD: SSD with attention module

如上圖，它由一個(gè)trunk分支和一個(gè)mask分支組成。trunk分支有兩個(gè)殘差塊，每個(gè)塊有3個(gè)卷積層，如上圖d所示；mask分支通過(guò)使用殘差連接執(zhí)行下采樣和上采樣來(lái)輸出注意圖（圖b為第一階段和圖c為第二階段)，然后完成sigmoid激活。殘差連接使保持下采樣階段的特征。然后，來(lái)自mask分支的注意映射與trunk分支的輸出相乘，產(chǎn)生已參與的特征。最后，參與的特征之后是另一個(gè)殘差塊，L2標(biāo)準(zhǔn)化，和ReLU。

研究者提出了以上的兩個(gè)特征的方法，它可以考慮來(lái)自目標(biāo)層和不同層的上下文信息。與F-SSD相比，研究者沒(méi)有在目標(biāo)特征上執(zhí)行一個(gè)卷積層，而是放置了one stage的注意模塊，如下圖所示。

4 實(shí)驗(yàn)

ResNet SSD with feature fusion + attention module (FA- SSD)

紅色框是GT，綠色框是預(yù)測(cè)的