這篇文章重點(diǎn)關(guān)注的是圖像處理領(lǐng)域的物理攻擊檢測(cè)問(wèn)題，具體是指針對(duì)圖像的局部物理攻擊，即將對(duì)手區(qū)域限制在圖像的一小部分，生成 “對(duì)抗性補(bǔ)丁” 攻擊。這種局部限制有利于設(shè)計(jì)魯棒的且物理上可實(shí)現(xiàn)的攻擊，具體攻擊形式可以是放置在視覺(jué)場(chǎng)景中的對(duì)手對(duì)象或貼紙。反過(guò)來(lái)，這些類型的攻擊通常使用****擾動(dòng)來(lái)確保攻擊對(duì)角度、照明和其他物理?xiàng)l件的變化具有魯棒性。局部物理攻擊的一個(gè)缺點(diǎn)是，它們通常是肉眼可見(jiàn)和可檢測(cè)的，但在許多情況下，攻擊者仍然可以通過(guò)在自主環(huán)境中部署或偽裝這些方式來(lái)逃避檢測(cè)。
圖 9 給出一個(gè)深度學(xué)習(xí)系統(tǒng)示例，該系統(tǒng)為人臉識(shí)別系統(tǒng)，其作用是解鎖移動(dòng)設(shè)備或讓用戶進(jìn)入建筑物。場(chǎng)景包括了用戶的臉和其他背景對(duì)象。傳感器可以是返回場(chǎng)景數(shù)字圖像的相機(jī)的 CCD 傳感器。圖像由預(yù)測(cè)用戶身份的人臉?lè)诸惼魈幚?。如果用戶身份有效，?zhí)行器將解鎖設(shè)備或打開(kāi)閘門。
圖 9. 部署在真實(shí)環(huán)境中的物理攻擊，使用物理模式和對(duì)象而不是修改數(shù)字圖像
3.1 SentiNet 介紹
本文提出了一種針對(duì)視覺(jué)領(lǐng)域物理攻擊檢測(cè)的方法：SentiNet。SentiNet 的目標(biāo)是識(shí)別會(huì)劫持模型預(yù)測(cè)的對(duì)手輸入。具體而言，SentiNet 的設(shè)計(jì)目標(biāo)是在無(wú)需事先了解攻擊內(nèi)容的情況下，保護(hù)網(wǎng)絡(luò)免受對(duì)抗性樣本、觸發(fā)特洛伊木馬和后門的攻擊。SentiNet 的核心思想是利用對(duì)手錯(cuò)誤分類行為來(lái)檢測(cè)攻擊。首先，SentiNet 使用模型可解釋性和對(duì)象檢測(cè)技術(shù)從輸入場(chǎng)景中提取對(duì)模型預(yù)測(cè)結(jié)果影響最大的區(qū)域。然后，SentiNet 將這些提取的區(qū)域應(yīng)用于一組良性測(cè)試輸入，并觀察模型的行為。最后，SentiNet 使用模糊技術(shù)將這些合成行為與模型在良性輸入上的已知行為進(jìn)行比較，以確定預(yù)測(cè)攻擊行為。SentiNet 完整結(jié)構(gòu)見(jiàn)圖 10。
圖 10. SentiNet 架構(gòu)概述。使用輸入的輸出和類別生成掩模，然后將掩模反饋到模型中以生成用于邊界分析和攻擊分類的值
3.1.1 對(duì)抗性目標(biāo)定位 
本文方法的第一步是在給定的輸入上定位可能包含惡意對(duì)象的區(qū)域，即識(shí)別輸入 x 中有助于模型預(yù)測(cè) y 的部分。因?yàn)槲锢砉艉苄〔⑶沂蔷植康?，在不包含攻擊部分的輸入上評(píng)估模型可能能夠恢復(fù) x 的真實(shí)類別。
分段類別建議。本文提出的攻擊檢測(cè)從識(shí)別一組可能由模型 f_m 預(yù)測(cè)的類別開(kāi)始。第一類是實(shí)際預(yù)測(cè)，即 y=f_m(x)。通過(guò)對(duì)輸入 x 進(jìn)行分段，然后對(duì)每個(gè)分段上的網(wǎng)絡(luò)進(jìn)行評(píng)估來(lái)識(shí)別其他類別。Algorithm 1 給出了通過(guò)輸入分段判斷類別的算法。可以使用不同的方法分割給定的輸入 x，包括滑動(dòng)窗口和基于網(wǎng)絡(luò)的區(qū)域建議等。本文方法使用了選擇性搜索圖像分割算法：選擇性搜索根據(jù)在自然場(chǎng)景中發(fā)現(xiàn)的模式和邊緣生成區(qū)域列表，然后，對(duì)每個(gè)給出的分段建議進(jìn)行評(píng)估，并返回前 k 個(gè)置信度預(yù)測(cè)，其中 k 是 SentiNet 的配置參數(shù)。

掩模生成。針對(duì)模型預(yù)測(cè)的解釋和理解問(wèn)題，在過(guò)去幾年中已經(jīng)提出了多種針對(duì)性的方法。其中一種方法是 “量化” 輸入的單個(gè)像素的相關(guān)性。這種方法聚焦于單個(gè)像素，因此可能會(huì)生成非連續(xù)像素的掩模。而稀疏掩模則可能會(huì)丟失惡意對(duì)象的元素，并且不適用于模型測(cè)試階段。另外一種替代方法不在單個(gè)像素上操作，而是嘗試恢復(fù)模型用于識(shí)別同類輸入的可分性圖像區(qū)域。但是，其中許多方法需要對(duì)基本模型進(jìn)行修改和微調(diào)，例如類別激活映射（Class Activation Mapping，CAM）[8]，這些修改可能會(huì)改變模型的行為，甚至包括 SentiNet 執(zhí)行檢測(cè)并防止被利用的惡意行為。
作者表示，適合本文目標(biāo)的方法是 Grad-CAM[9]，這是一種模型解釋技術(shù)，可以識(shí)別輸入的連續(xù)空間區(qū)域，而不需要對(duì)原始模型進(jìn)行修改。Grad-CAM 使用網(wǎng)絡(luò)最后幾層計(jì)算得到的梯度來(lái)計(jì)算輸入?yún)^(qū)域的顯著性。對(duì)于類別 c，Grad-CAM 計(jì)算模型輸出 y^c 相對(duì)于模型最終匯聚層的 k 個(gè)特征圖 A^k 的梯度（模型對(duì)類別 c 的 logit 得分），以得到(δ y^c)/(δ A^k)。每個(gè)過(guò)濾圖的平均梯度值，或 "神經(jīng)元重要性權(quán)重" 記作：

最后，按神經(jīng)元的重要性加權(quán)處理特征圖 A^k，并匯總以得到最終的 Grad-CAM 輸出：

Grad-CAM 的輸出是圖像正向重要性的一個(gè)粗略熱圖，由于模型的卷積層和池化層的下采樣處理，其分辨率通常比輸入圖像低。最后，通過(guò)對(duì)熱圖進(jìn)行二值化處理，以最大強(qiáng)度的 15% 為閾值生成掩模。作者使用這個(gè)掩模來(lái)分割 salient 區(qū)域，以便進(jìn)行下一步的工作。
精確的掩模生成。盡管 Grad-CAM 可以成功地識(shí)別與對(duì)抗性目標(biāo)相對(duì)應(yīng)的鑒別性輸入?yún)^(qū)域，但它也可能識(shí)別良性的 salient 區(qū)域。圖 11 給出了一個(gè)說(shuō)明性示例，Grad-CAM 為一個(gè)人臉識(shí)別網(wǎng)絡(luò)生成的熱圖既覆蓋了木馬的觸發(fā)補(bǔ)丁，也覆蓋了原始的人臉區(qū)域。為了提高掩模準(zhǔn)確性，作者提出需要對(duì)輸入圖像的選定區(qū)域進(jìn)行額外預(yù)測(cè)。然后，對(duì)于每個(gè)預(yù)測(cè)，使用 Grad-CAM 來(lái)提取一個(gè)與預(yù)測(cè)最相關(guān)的輸入?yún)^(qū)域的掩模。最后，結(jié)合這些額外的掩模來(lái)完善初始預(yù)測(cè) y 的掩模。
圖 11. 上一行：使用漸變 CAM 生成掩模。左圖顯示了與目標(biāo) “0” 類別相關(guān)的 Grad-CAM 熱圖，右圖顯示了覆蓋了物理攻擊以外區(qū)域的提取掩模。下一行：左圖是相對(duì)于目標(biāo) “0” 類別的 Grad-CAM 熱圖，該行中間的圖是對(duì)應(yīng)于給定類別的 Grad-CAM
一旦得到了圖片中可能存在的類別列表，我們就會(huì)劃出與每個(gè)預(yù)測(cè)類別更相關(guān)的區(qū)域 x。為簡(jiǎn)單起見(jiàn)，作者假設(shè)每個(gè)輸入只能包含一個(gè)惡意對(duì)象。Algorithm 2 給出了從 x 中提取輸入?yún)^(qū)域的過(guò)程。

首先，使用 Grad-CAM 對(duì)輸入的 x 和預(yù)測(cè)的 y 提取掩模，同時(shí)還為每一個(gè)建議的類別 y_p 提取一個(gè)掩模。在其他的建議類別上執(zhí)行 Grad-CAM，可以讓我們?cè)趯?duì)抗性攻擊之外找到圖像的重要區(qū)域。此外，由于對(duì)抗性區(qū)域通常與非目標(biāo)類別呈負(fù)相關(guān)性，熱圖主動(dòng)避免突出圖像的對(duì)抗性區(qū)域。我們可以使用這些熱圖來(lái)生成二級(jí)掩模，通過(guò)減去掩模重疊的區(qū)域來(lái)改進(jìn)原始掩模。這能夠保證掩模只突出局部攻擊，而不會(huì)突出圖像中的其他 salient 區(qū)域。由圖 11 我們可以看到使用這種方法生成了一個(gè)更精確的掩模，其中只包含了大部分對(duì)抗性區(qū)域。
3.1.2  攻擊檢測(cè) 
攻擊檢測(cè)需要兩個(gè)步驟。首先，如上所述，SentiNet 提取可能包含對(duì)抗性補(bǔ)丁的輸入?yún)^(qū)域。然后，SentiNet 在一組良性圖像上測(cè)試這些區(qū)域，以區(qū)分對(duì)抗性區(qū)域和良性區(qū)域。
測(cè)試 - 一旦定位了輸入?yún)^(qū)域，SentiNet 就會(huì)觀察該區(qū)域?qū)δＰ偷挠绊懀源_定該區(qū)域是對(duì)手的還是良性的。為此，SentiNet 將可疑區(qū)域疊加在一組良性測(cè)試圖像 X 上。將測(cè)試圖像反饋到網(wǎng)絡(luò)中，網(wǎng)絡(luò)計(jì)算被欺騙的樣本數(shù)量并用于對(duì)抗性圖像。直觀地說(shuō)，可能欺騙模型的變異圖像數(shù)量越多，疑似區(qū)域就越有可能是對(duì)抗性攻擊。當(dāng)恢復(fù)的掩模較小時(shí)，這種反饋技術(shù)能有效區(qū)分對(duì)抗性和良性輸入，因?yàn)樾〉牧夹晕矬w通常不能影響到網(wǎng)絡(luò)的預(yù)測(cè)。然而，這種方法的一個(gè)問(wèn)題是，一個(gè)覆蓋了輸入圖像較大區(qū)域的掩模在疊加到其他圖像上時(shí)，很可能會(huì)造成錯(cuò)誤的分類。例如，考慮一個(gè)輸入圖像 x 的較大掩模，當(dāng)疊加時(shí)，掩模內(nèi)的特征可能比外面的特征相關(guān)性更強(qiáng)，這就提高了將變異的測(cè)試輸入分類為 y 的可能性。為了解決這一問(wèn)題，作者引入了惰性模式（inert patterns），其作用是抑制掩模內(nèi)部的特征，從而提高網(wǎng)絡(luò)對(duì)掩模外特征的反應(yīng)。
檢測(cè)的決策邊界 - 有了這兩個(gè)指標(biāo)（被欺騙的圖像數(shù)量和平均惰性模式置信值），我們可以確定在哪些條件下輸入的 x 是對(duì)抗性的。下一步，作者希望引入一種技術(shù)，使我們能夠根據(jù)攻擊無(wú)關(guān)的指標(biāo)，將未見(jiàn)過(guò)的對(duì)抗性輸入識(shí)別為攻擊。圖 12 給出一個(gè)示例，其中紅色的三角點(diǎn)代表的是在對(duì)抗性樣本中發(fā)現(xiàn)的指標(biāo)，藍(lán)色的圓點(diǎn)是根據(jù)清潔樣本計(jì)算得到的。我們可以看到對(duì)抗性樣本大多聚集在圖中右上角的位置。
圖 12. 邊界檢測(cè)示例，左側(cè)，對(duì)抗性和良性指標(biāo)分別被繪制成紅色三角形和藍(lán)色圓圈；右側(cè)，來(lái)自采樣點(diǎn)的曲線建議
作者提出，可以使用在清潔樣本上收集到的度量來(lái)近似一個(gè)曲線，其中位于曲線函數(shù)之外的點(diǎn)可以被歸類為對(duì)抗性攻擊。具體的，通過(guò)提取 x 間隔的最高 y 值的點(diǎn)來(lái)收集目標(biāo)點(diǎn)，然后使用非線性最小二乘法函數(shù)來(lái)擬合生成目標(biāo)曲線。然后，使用近似曲線計(jì)算曲線和點(diǎn)之間的距離（使用線性近似的約束優(yōu)化（the Constrained Optimization by Linear Approximation，COBYLA）方法）并確定該距離是否在由位于曲線之外的清潔樣本的距離所估計(jì)的閾值之內(nèi)，來(lái)實(shí)現(xiàn)對(duì)攻擊的分類。具體的邊界決策過(guò)程如 Algorithm 4 所示。

3.2 實(shí)驗(yàn)分析
作者利用三個(gè)公共可用網(wǎng)絡(luò)評(píng)估 SentiNet，其中包括兩個(gè)受損網(wǎng)絡(luò)和一個(gè)未受損網(wǎng)絡(luò)。受損網(wǎng)絡(luò)包括一個(gè)用于閱讀標(biāo)志檢測(cè)的后門 Faster-RCNN 網(wǎng)絡(luò) [11] 以及一個(gè)用于人臉識(shí)別的 VGG-16 trojaned 網(wǎng)絡(luò)[12]。未受損網(wǎng)絡(luò)是在 Imagenet 數(shù)據(jù)集上訓(xùn)練的 VGG-16 網(wǎng)絡(luò)[13]。此外，SentiNet 還需要一個(gè)良性測(cè)試圖像集 X 和一個(gè)惰性模式 s 來(lái)生成決策邊界。作者利用實(shí)驗(yàn)中所選網(wǎng)絡(luò)的每個(gè)測(cè)試集 X 生成良性測(cè)試圖像集，以及使用隨機(jī)噪聲作為惰性模式。SentiNet 利用 Tensorflow 1.5 為未受損網(wǎng)絡(luò)、利用 BLVC Caffe 為 trojaned 網(wǎng)絡(luò)以及利用 Faster-RCNN Caffe 為污染網(wǎng)絡(luò)生成對(duì)抗補(bǔ)丁。為了能夠并行生成類別建議，SentiNet 利用了由 Fast RCNN Caffe 版本實(shí)現(xiàn)的 ROI 池化層。最后，作者通過(guò)收集每次攻擊的 TP/TN 和 FP/FN 比率從準(zhǔn)確性和性能兩個(gè)方面衡量 SentiNet 的有效性和魯棒性。
首先，作者評(píng)估了 SentiNet 在保護(hù)選定的網(wǎng)絡(luò)免受三種攻擊的有效性，即后門、特洛伊木馬觸發(fā)器和對(duì)手補(bǔ)丁。在實(shí)驗(yàn)中，分別考慮了引入和未引入掩模改進(jìn)的效果。對(duì)于對(duì)抗性補(bǔ)丁攻擊，作者考慮了另一種變體，即攻擊者同時(shí)使用多個(gè)補(bǔ)丁。實(shí)驗(yàn)整體評(píng)估結(jié)果見(jiàn)表 9 所示。
表 9. SentiNet 對(duì)已知攻擊的有效性
接下來(lái)，作者考慮攻擊者已知 SentiNet 的存在及其工作機(jī)制情況下，可能避免 SentiNet 檢測(cè)的情況。作者具體考慮了 SentiNet 的三個(gè)組件的情況：熱圖建議、類別建議和攻擊分類。
1）攻擊區(qū)域建議（熱圖建議）
本文方法的關(guān)鍵是能夠使用 Grad-CAM 算法成功定位圖像中的對(duì)抗性區(qū)域。Grad-CAM 算法生成 salient 區(qū)域的熱圖進(jìn)而生成分類結(jié)果。一旦攻擊破壞了 Grad-CAM 并影響區(qū)域的檢測(cè)和定位，那么框架的后續(xù)組件將會(huì)失效。Grad-CAM 使用網(wǎng)絡(luò)反向傳播來(lái)衡量區(qū)域的重要性。因此，理論上我們可以使用有針對(duì)性的梯度擾動(dòng)來(lái)修改熱圖輸出。作者通過(guò)實(shí)驗(yàn)表明，在作者給出的防御背景下，Grad-CAM 對(duì)對(duì)抗性攻擊是穩(wěn)健的，Grad-CAM 對(duì)區(qū)域的捕捉能力并不會(huì)輕易被操縱。
圖 13 左上為一張狗的圖像，上面覆蓋著一個(gè)對(duì)抗性補(bǔ)丁。右側(cè)為對(duì)目標(biāo)類別 "toast" 的 Grad-CAM 熱圖。我們從隨機(jī)噪聲開(kāi)始，其中沒(méi)有任何 "toast" 類別的突出區(qū)域，對(duì)損失函數(shù)進(jìn)行優(yōu)化輸入。圖 13 證明了在收斂時(shí)生成的噪聲的熱圖輸出與原始熱圖在視覺(jué)上是一致的。這表明，Grad-CAM 的輸出是可以通過(guò)梯度優(yōu)化來(lái)精確操縱的。然而，為了發(fā)動(dòng)這樣的有效攻擊，攻擊者需要在整個(gè)圖像上添加噪聲，這在實(shí)際上是不可行的。
攻擊者還有一種攻擊策略：生成一個(gè)誤導(dǎo)熱圖區(qū)域（heatmap region misdirection），在該圖中增加一個(gè)不覆蓋對(duì)手區(qū)域的區(qū)域，以擴(kuò)大捕獲的區(qū)域或完全規(guī)避檢測(cè)。
攻擊者也有可能通過(guò)誤導(dǎo)熱圖區(qū)域，即熱圖提出一個(gè)不包括對(duì)抗區(qū)域的區(qū)域，以擴(kuò)大定位的區(qū)域或完全避免檢測(cè)。但是這種操作在對(duì)手對(duì)整幅圖像添加擾動(dòng)噪聲時(shí)會(huì)失效，所以作者在實(shí)驗(yàn)中限定攻擊者不能在局部攻擊區(qū)域之外添加噪聲，Grad-CAM 擾動(dòng)也必須限制在對(duì)手區(qū)域中。因此，我們要考慮的威脅是攻擊者可以在圖像的一個(gè)區(qū)域中增加噪聲，從而增加不相交區(qū)域中的 Grad-CAM 輸出值。由圖 13 給出的實(shí)驗(yàn)結(jié)果，如果噪聲區(qū)域與我們想要修改的 Grad-CAM 位置重疊，我們就能夠成功修改熱圖。圖 13 還顯示，如果噪聲區(qū)域與目標(biāo) Grad-CAM 區(qū)域不相交，則 Grad-CAM 優(yōu)化無(wú)法實(shí)現(xiàn)視覺(jué)相似性或與之等效的最終收斂損失。這些實(shí)驗(yàn)表明，局部噪聲只會(huì)影響相應(yīng)的 Grad-CAM 區(qū)域，同時(shí)表明不可能發(fā)生錯(cuò)誤方向的攻擊。
圖 13. 計(jì)算每個(gè)輸入上標(biāo)簽 “toaster” 的 Grad-CAM。第一行顯示疊加在狗圖像上的對(duì)抗性補(bǔ)丁的 Grad-CAM 輸出。第二行為使用梯度擾動(dòng)再現(xiàn)的 Grad-CAM 輸出。第三行顯示，如果補(bǔ)丁位于目標(biāo)熱圖附近，仍然可以生成類似的熱圖。第四行顯示，如果不能在目標(biāo) Grad-CAM 位置上附加干擾噪聲，則無(wú)法直接影響 Grad-CAM 輸出
2）類別建議
類別建議模塊是使用選擇性搜索（Selective search）和一個(gè)根據(jù)包含 ROI 池化層的原始網(wǎng)絡(luò)修改后得到的建議網(wǎng)絡(luò)。選擇性搜索是一種傳統(tǒng)的圖像處理算法，它使用基于圖形的方法根據(jù)顏色、形狀、紋理和大小分割圖像。與 Faster-RCNN 中的網(wǎng)絡(luò)生成建議機(jī)制不同，選擇性搜索中不存在會(huì)被攻擊者擾亂的梯度成分，也不存在會(huì)嚴(yán)重限制攻擊者攻擊機(jī)制的會(huì)污染的訓(xùn)練過(guò)程。本文的選擇性搜索算法還設(shè)計(jì)用于捕獲對(duì)手類別以外的類別建議，攻擊者將無(wú)法影響對(duì)手區(qū)域以外的選擇性搜索結(jié)果。此外，由于我們的建議網(wǎng)絡(luò)使用原始網(wǎng)絡(luò)權(quán)重，因此不會(huì)在原始網(wǎng)絡(luò)和建議網(wǎng)絡(luò)之間產(chǎn)生不同的行為。最后，攻擊者攻擊網(wǎng)絡(luò)類別建議過(guò)程的動(dòng)機(jī)是有限的，因?yàn)槌晒Φ墓魧⑵茐墓魴z測(cè)的準(zhǔn)確性，而不是破壞整個(gè)過(guò)程。由此，作者得出結(jié)論：類別建議機(jī)制是魯棒的，因?yàn)楦鱾€(gè)組件的屬性會(huì)共同抵抗擾動(dòng)或污染攻擊。
3）攻擊分類
最后，通過(guò)分析攻擊分類的魯棒性，作者針對(duì)決策過(guò)程進(jìn)行了實(shí)驗(yàn)論證。本文的分類過(guò)程沒(méi)有使用梯度下降方法進(jìn)行訓(xùn)練，這就避免了使用梯度擾動(dòng)來(lái)誤導(dǎo)分類的可能性。本文使用的閾值是根據(jù)可信數(shù)據(jù)集 X、X 誤導(dǎo)概率和 X 平均置信度確定的二維數(shù)據(jù)點(diǎn)。其中，X 平均置信度利用模式 s 來(lái)計(jì)算。
如果對(duì)手能夠操縱模型對(duì)惰性模式做出反應(yīng)，那么他們就可以繞過(guò)防御后在良性輸入和對(duì)手輸入之間生成類似的輸出。作者通過(guò)使用標(biāo)準(zhǔn)隨機(jī)噪聲模式和一個(gè)新的棋盤格模式（如圖 14 所示），證明了我們可以保證模式 s 的隱私性。由表 9，我們可以看到隨機(jī)噪聲模式和棋盤格模式的 TP 和 TN 率在 ≤0.25% 范圍內(nèi)。此外，防御方始終能夠通過(guò)使用梯度下降找到惰性模式，以最小化所有類別的響應(yīng)置信度。只要模式 s 是保密的，SentiNet 的這個(gè)組件就是安全的。
圖 14. 惰性模式：本文使用的惰性模式為左側(cè)顯示的隨機(jī)噪聲；可能使用的另一種模式是右側(cè)的棋盤格模式
如果攻擊者使用足夠大的補(bǔ)丁，X 上的平均置信度將降低，從而降低防御的有效性。由圖 15 可以看出，對(duì)于對(duì)抗性補(bǔ)丁，攻擊的 avgConf 隨著補(bǔ)丁大小的增加而下降。通過(guò)增加補(bǔ)丁的透明度，我們可以將攻擊降低到閾值以下，同時(shí)保持非常高的攻擊成功率。
圖 15. 對(duì)抗性補(bǔ)丁大小分析
4、小結(jié)
我們?cè)谶@篇文章中討論了多媒體領(lǐng)域的物理攻擊問(wèn)題，包括圖像領(lǐng)域、音頻領(lǐng)域等。與算法攻擊相比，在圖像或音頻上施加物理攻擊的難度性低，進(jìn)一步損害了深度學(xué)習(xí)技術(shù)的實(shí)用性和可靠性。我們選擇了三篇文章從攻擊和防御的角度分別進(jìn)行了探討，同時(shí)包括了圖像領(lǐng)域和音頻領(lǐng)域的攻擊。由于物理攻擊對(duì)于人類來(lái)說(shuō)是易于發(fā)現(xiàn)的，所以從文章給出的實(shí)驗(yàn)結(jié)果來(lái)看，不同方法的防御效果都不錯(cuò)。不過(guò)，幾篇文章中談到的防御都是限定攻擊類型的防御，如何對(duì)不可知的攻擊進(jìn)行有效防御仍值得進(jìn)一步研究和探討。
本文參考引用的文獻(xiàn)
[1] Kevin Eykholt; Ivan Evtimov; Earlence Fernandes; Bo Li; Amir Rahmati; Chaowei Xiao; Atul Prakash; Tadayoshi Kohno; Dawn Son，Robust Physical-World Attacks on Deep Learning Visual Classification，CVPR 2018， https://ieeexplore.ieee.org/document/8578273（https://robohub.org/physical-adversarial-examples-against-deep-neural-networks/）[2] Zirui Xu，F(xiàn)uxun Yu; Xiang Chen，LanCe: A Comprehensive and Lightweight CNN Defense Methodology against Physical Adversarial Attacks on Embedded Multimedia Applications，25th Asia and South Pacific Design Automation Conference (ASP-DAC)，2020，https://ieeexplore.ieee.org/document/9045584[3] Chou E , F Tramèr, Pellegrino G . SentiNet: Detecting Physical Attacks Against Deep Learning Systems. 2020. https://arxiv.org/abs/1812.00292[4] A. Kurakin, I. Goodfellow, and S. Bengio. Adversarial examples in the physical world. arXiv preprint arXiv:1607.02533, 2016.[5] K. Eykholt, I. Evtimov, E. Fernandes, B. Li, D. Song, T. Kohno, A. Rahmati, A. Prakash, and F. Tramer. Note on Attacking Object Detectors with Adversarial Stickers. Dec. 2017.[6] I. Goodfellow and et al., “Explaining and harnessing adversarial examples,” arXiv preprint arXiv:1412.6572, 2014.[7] J. Hayes, “On visible adversarial perturbations & digital watermarking,” in Proc. of CVPR Workshops, 2018, pp. 1597–1604.[8] Z. Yang and et al., “Characterizing audio adversarial examples using temporal dependency,” arXiv preprint arXiv:1809.10875, 2018.[9] Q. Zeng and et al., “A multiversion programming inspired approach to detecting audio adversarial examples,” arXiv preprint arXiv:1812.10199, 2018.[10] K. Rajaratnam and et al., “Noise flooding for detecting audio adversarial examples against automatic speech recognition,” in Proc. of ISSPIT, 2018, pp. 197–201.[11] T. Gu, B. Dolan-Gavitt, and S. Garg, “Badnets: Identifying vulnerabilities in the machine learning model supply chain,” CoRR, vol. abs/1708.06733, 2017. [Online]. Available: http://arxiv.org/abs/1708.06733[12] Y. Liu, S. Ma, Y. Aafer, W.-C. Lee, J. Zhai, W. Wang, and X. Zhang, “Trojaning attack on neural networks,” in NDSS, 2018.[13] K. Simonyan and A. Zisserman, “Very deep convolutional networks for large-scale image recognition,” CoRR, vol. abs/1409.1556, 2014. [Online]. Available: http://arxiv.org/abs/1409.1556