論文地址：https://arxiv.org/pdf/2201.01857.pdf

現(xiàn)在領(lǐng)先的目標(biāo)檢測(cè)器是從基于深度CNN的主干分類器網(wǎng)絡(luò)重新調(diào)整用途的兩級(jí)或單級(jí)網(wǎng)絡(luò)。

一、前言

現(xiàn)在領(lǐng)先的目標(biāo)檢測(cè)器是從基于深度CNN的主干分類器網(wǎng)絡(luò)重新調(diào)整用途的兩級(jí)或單級(jí)網(wǎng)絡(luò)。YOLOv3就是這樣一種眾所周知的最先進(jìn)的單級(jí)檢測(cè)器，它接收輸入圖像并將其劃分為大小相等的網(wǎng)格矩陣。具有目標(biāo)中心的網(wǎng)格單元負(fù)責(zé)檢測(cè)特定目標(biāo)。

今天分享的，就是提出了一種新的數(shù)學(xué)方法，該方法為每個(gè)目標(biāo)分配多個(gè)網(wǎng)格，以實(shí)現(xiàn)精確的tight-fit邊界框預(yù)測(cè)。研究者還提出了一種有效的離線復(fù)制粘貼數(shù)據(jù)增強(qiáng)來(lái)進(jìn)行目標(biāo)檢測(cè)。新提出的方法顯著優(yōu)于一些當(dāng)前最先進(jìn)的目標(biāo)檢測(cè)器，并有望獲得更好的性能。

二、背景

目標(biāo)檢測(cè)網(wǎng)絡(luò)旨在使用緊密匹配的矩形邊界框在圖像上定位對(duì)象并正確標(biāo)記它。如今，有兩種不同的方法可以實(shí)現(xiàn)這一目的。第一個(gè)也是性能方面，最主要的方法是兩階段目標(biāo)檢測(cè)，最好的代表RCNN及其衍生物[Faster r-cnn: Towards real-time

object detection with region proposal networks]、[Fast r-cnn]。相比之下，第二組目標(biāo)檢測(cè)實(shí)現(xiàn)因其出色的檢測(cè)速度和輕量級(jí)而廣為人知，被稱為單階段網(wǎng)絡(luò)，代表性示例為[You only look once: Unified, real-time object detection]、[Ssd: Single shot multibox detector]、[Focal loss for dense object detection]。兩階段網(wǎng)絡(luò)依賴于一個(gè)潛在的區(qū)域建議網(wǎng)絡(luò)，該網(wǎng)絡(luò)生成可能包含感興趣對(duì)象的圖像的候選區(qū)域，第二個(gè)檢測(cè)頭處理分類和邊界框回歸。在單階段目標(biāo)檢測(cè)中，檢測(cè)是一個(gè)單一的、完全統(tǒng)一的回歸問(wèn)題，它在一個(gè)完整的前向傳遞中同時(shí)處理分類和定位。因此，通常，單階段網(wǎng)絡(luò)更輕、更快且易于實(shí)現(xiàn)。

今天的研究依然是堅(jiān)持YOLO的方法，特別是YOLOv3，并提出了一種簡(jiǎn)單的hack，可以同時(shí)使多個(gè)網(wǎng)格單元預(yù)測(cè)目標(biāo)坐標(biāo)、類別和目標(biāo)置信度。每個(gè)對(duì)象的多網(wǎng)格單元分配背后的基本理論是通過(guò)強(qiáng)制多個(gè)單元在同一對(duì)象上工作來(lái)增加預(yù)測(cè)緊密擬合邊界框的可能性。

多網(wǎng)格分配的一些優(yōu)點(diǎn)包括：

（a）為目標(biāo)檢測(cè)器提供它正在檢測(cè)的對(duì)象的多視角視圖，而不是僅依靠一個(gè)網(wǎng)格單元來(lái)預(yù)測(cè)對(duì)象的類別和坐標(biāo)；

（b ) 較少隨機(jī)和不穩(wěn)定的邊界框預(yù)測(cè)，這意味著高精度和召回率，因?yàn)楦浇木W(wǎng)格單元被訓(xùn)練來(lái)預(yù)測(cè)相同的目標(biāo)類別和坐標(biāo)；

(c) 減少具有感興趣對(duì)象的網(wǎng)格單元與沒(méi)有感興趣對(duì)象的網(wǎng)格之間的不平衡。

此外，由于多網(wǎng)格分配是對(duì)現(xiàn)有參數(shù)的數(shù)學(xué)利用，并且不需要額外的關(guān)鍵點(diǎn)池化層和后處理來(lái)將關(guān)鍵點(diǎn)重新組合到其對(duì)應(yīng)的目標(biāo)，如CenterNet和CornerNet，可以說(shuō)它是一個(gè)更實(shí)現(xiàn)無(wú)錨或基于關(guān)鍵點(diǎn)的目標(biāo)檢測(cè)器試圖實(shí)現(xiàn)的自然方式。除了多網(wǎng)格冗余注釋，研究者還引入了一種新的基于離線復(fù)制粘貼的數(shù)據(jù)增強(qiáng)技術(shù)，用于準(zhǔn)確的目標(biāo)檢測(cè)。

三、MULTI-GRID ASSIGNMENT

上圖包含三個(gè)目標(biāo)，即狗、自行車和汽車。為簡(jiǎn)潔起見(jiàn)，我們將解釋我們?cè)谝粋€(gè)對(duì)象上的多網(wǎng)格分配。上圖顯示了三個(gè)對(duì)象的邊界框，其中包含更多關(guān)于狗的邊界框的細(xì)節(jié)。下圖顯示了上圖的縮小區(qū)域，重點(diǎn)是狗的邊界框中心。包含狗邊界框中心的網(wǎng)格單元的左上角坐標(biāo)用數(shù)字0標(biāo)記，而包含中心的網(wǎng)格周圍的其他八個(gè)網(wǎng)格單元的標(biāo)簽從1到8。

到目前為止，我已經(jīng)解釋了包含目標(biāo)邊界框中心的網(wǎng)格如何注釋目標(biāo)的基本事實(shí)。這種對(duì)每個(gè)對(duì)象僅一個(gè)網(wǎng)格單元的依賴來(lái)完成預(yù)測(cè)類別的困難工作和精確的tight-fit邊界框引發(fā)了許多問(wèn)題，例如：

（a）正負(fù)網(wǎng)格之間的巨大不平衡，即有和沒(méi)有對(duì)象中心的網(wǎng)格坐標(biāo)

（b）緩慢的邊界框收斂到GT

（c）缺乏要預(yù)測(cè)的對(duì)象的多視角（角度）視圖。

所以這里要問(wèn)的一個(gè)自然問(wèn)題是，“顯然，大多數(shù)對(duì)象包含一個(gè)以上網(wǎng)格單元的區(qū)域，因此是否有一種簡(jiǎn)單的數(shù)學(xué)方法來(lái)分配更多這些網(wǎng)格單元來(lái)嘗試預(yù)測(cè)對(duì)象的類別和坐標(biāo)連同中心網(wǎng)格單元？”。這樣做的一些優(yōu)點(diǎn)是（a）減少不平衡，（b）更快的訓(xùn)練以收斂到邊界框，因?yàn)楝F(xiàn)在多個(gè)網(wǎng)格單元同時(shí)針對(duì)同一個(gè)對(duì)象，（c）增加預(yù)測(cè)tight-fit邊界框的機(jī)會(huì)（d) 為YOLOv3等基于網(wǎng)格的檢測(cè)器提供多視角視圖，而不是對(duì)象的單點(diǎn)視圖。新提出的多重網(wǎng)格分配試圖回答上述問(wèn)題。

Ground-truth encoding

四、訓(xùn)練

 A. The Detection Network: MultiGridDet

MultiGridDet是一個(gè)目標(biāo)檢測(cè)網(wǎng)絡(luò)，通過(guò)從YOLOv3中刪除六個(gè)darknet卷積塊來(lái)使其更輕、更快。一個(gè)卷積塊有一個(gè)Conv2D+Batch Normalization+LeakyRelu。移除的塊不是來(lái)自分類主干，即Darknet53。相反，將它們從三個(gè)多尺度檢測(cè)輸出網(wǎng)絡(luò)或頭中刪除，每個(gè)輸出網(wǎng)絡(luò)兩個(gè)。盡管通常深度網(wǎng)絡(luò)表現(xiàn)良好，但太深的網(wǎng)絡(luò)也往往會(huì)快速過(guò)度擬合或大幅降低網(wǎng)絡(luò)速度。

B. The Loss function

Coordinate activation function plot with different β values

C. Data Augmentation

離線復(fù)制粘貼人工訓(xùn)練圖像合成工作如下：首先，使用簡(jiǎn)單的圖像搜索腳本，使用地標(biāo)、雨、森林等關(guān)鍵字從谷歌圖像下載數(shù)千張背景無(wú)對(duì)象圖像，即沒(méi)有我們感興趣的對(duì)象的圖像。然后，我們從整個(gè)訓(xùn)練數(shù)據(jù)集的隨機(jī)q個(gè)圖像中迭代地選擇p個(gè)對(duì)象及其邊界框。然后，我們生成使用它們的索引作為ID選擇的p個(gè)邊界框的所有可能組合。從組合集合中，我們選擇滿足以下兩個(gè)條件的邊界框子集：

if arranged in some random order side by side, they must fit within a given target background image area

and should efficiently utilize the background image space in its entirety or at least most part of it without the objects overlap.

五、實(shí)驗(yàn)及可視化

Pascal VOC 2007上的性能比較

coco數(shù)據(jù)集上的性能比較

從圖中可以看出，第一行顯示了六個(gè)輸入圖像，而第二行顯示了網(wǎng)絡(luò)在非極大抑制（NMS）之前的預(yù)測(cè)，最后一行顯示了MultiGridDet在NMS之后對(duì)輸入圖像的最終邊界框預(yù)測(cè)。