Facebook AI 近期更新博客介紹了一篇新論文，即研究人員通過實驗發(fā)現「易于解釋的神經元可能會阻礙深層神經網絡的學習」。為了解決這些問題，他們提出了一種策略，通過可偽造的可解釋性研究框架的形式來探討出現的問題。

　　人工智能模型到底「理解」了什么內容，又是如何「理解」的呢？

　　回答這個問題對于改進人工智能系統(tǒng)來說至關重要。而不幸的是，計算機科學家解釋深層神經網絡(DNN)的能力遠遠落后于我們用它們實現有用結果的能力。

　　一種常見的理解DNN的方法集中在單個神經元的屬性上，例如，尋找出一個單獨的神經元，這個神經元可以激活貓的圖像，但不能激活其他類型的圖像。

　　　　Facebook研究人員將這種對特定圖像類型的偏好稱為「類選擇性」（class selectivity）。

　　「類選擇性」之所以被廣泛使用，一部分原因是因為它是直觀的、易于理解的人類術語(也就是說，這些神經元是網絡的「貓」部分)。

　　事實上，這些可解釋的神經元，會自然而然地出現在經過各種不同訓練的神經網絡中。

　　例如，經過訓練可以對許多不同類型的圖像進行分類的DNN含有的某些神經元，這些神經元對拉布拉多尋回犬的激勵最為強烈，也就是說，神經元是有選擇性的。

　　研究人員發(fā)現強有力的證據表明「即使神經元在很大程度上不具有類選擇性，DNN 也能很好地發(fā)揮作用」。事實上，易于解釋的神經元會損害 DNN 功能，甚至使網絡更容易受到隨機畸變輸入的影響。

　　Facebook 發(fā)現可以通過開發(fā)一種新技術，直接控制 DNN 的神經元的類選擇性。如果這些方法沒有經過嚴格的測試和驗證，那么過分依賴于基于直覺的方法來理解DNN可能會產生誤導性。為了完全理解人工智能系統(tǒng)，我們必須努力尋找不僅是直觀的而且是經驗性的方法。

　　「類選擇性」：深度神經網絡可解釋性的工具

　　研究人員最近開始研究是否易于解釋的神經元對 DNN 功能實際上是重要的，但不同的研究報告的結果有時是相互矛盾的。

　　為了解決這個問題，我們采用了一種新的方法來操縱類的選擇性: 當訓練一個網絡來分類圖像時，我們不僅指示該網絡提高其分類圖像的能力，我們還增加了一個動機來減少(或增加)其神經元的類選擇性。

　　上圖展示了操縱 DNN 中神經元的類選擇性會如何影響 DNN 正確分類圖像的能力(在 Tiny ImageNet 上訓練的 ResNet18)。

　　每個點代表一個 DNN。點的顏色代表了 DNN 神經元中「類選擇性」被使用或禁止的程度。X 軸顯示 DNN 神經元之間的平均類選擇性，Y 軸顯示 DNN 對圖像分類的準確程度。

　　灰點是中性的，既不使用也不禁止類選擇性，代表了這種類型 DNN 中自然出現的類別選擇性水平，用它作為比較分類準確性的基準。

　　通過阻止類別選擇(藍點) ，可以提高測試的準確性超過2% 。相比之下，鼓勵類選擇性(紅點)對 DNN 的圖像分類能力造成迅速的負面影響。通過放大數據的一個子集，以更好地說明減少和增加類選擇性的影響。

　　通過在損失函數中添加一個類選擇性來做到這一點。研究人員用一個參數來控制類選擇性對網絡的重要性。改變這個參數會改變我們是使用還是阻止易于解釋的神經元，以及改變到什么程度。

　　通過調節(jié)參數，可以實現「類選擇性」跨越所有網絡層。實驗結果如下:

　　1.當降低DNN的類選擇性時，我們發(fā)現它對性能幾乎沒有影響，在某些情況下甚至提高了性能。這些結果表明，盡管 DNN 在任務和模型中普遍存在，但類選擇性并不是 DNN 功能的一部分，有時甚至會對 DNN 功能產生負面影響。

　　2.當提高DNN的類選擇性時，我們發(fā)現對網絡性能有顯著的負面影響。第二個結果表明，類選擇性的存在并不能保證 DNN 正常工作。

　　走出實驗室，生產環(huán)境中數據更復雜

　　與研究環(huán)境相比，部署在工業(yè)環(huán)境中的DNN通常需要處理更為嘈雜和更為扭曲的數據。

　　例如，一個研究用DNN可以從維基百科上看到非常清晰的貓的圖像，而在工業(yè)中，DNN 需要處理一個黑暗的、模糊的貓?zhí)优艿膱D像。

　　研究人員實驗發(fā)現，類選擇性的降低使DNN對模糊和噪聲等自然失真更具有魯棒性。而有趣的是，類別選擇性的降低也使 DNN 更容易受到有針對性的攻擊，在這種攻擊中，圖像被有意操縱以欺騙 DNN。

　　這個結果出人意料有兩個原因: 第一，因為類選擇性已經被廣泛用于理解 DNN 函數; 第二，因為類選擇性在大多數 DNN 中自然存在。

　　研究結果還表明，在缺乏類選擇性的情況下，DNN自然地學習盡可能多的類選擇性，而不會對性能產生負面影響。

　　所有這些工作都是 Facebook 進一步解釋人工智能的一部分，包括為機器學習開發(fā)人員提供開源解釋工具，以及與平臺建立伙伴關系。

　　最終，這項工作將幫助研究人員更好地理解復雜的人工智能系統(tǒng)是如何工作的，并研發(fā)出更健壯、可靠和有用的模型。