導讀

深度神經(jīng)網(wǎng)絡(DNN)通過端到端的深度學習策略在許多具有挑戰(zhàn)性的任務上達到了人類水平的性能。深度學習產(chǎn)生了具有多層抽象層次的數(shù)據(jù)表示;然而，它沒有明確地提供任何關于DNNs內(nèi)部運作的解釋，換句話說它的內(nèi)部運作是一個黑盒子。深度神經(jīng)網(wǎng)絡的成功吸引了神經(jīng)科學家，他們不僅將DNN應用到生物神經(jīng)系統(tǒng)模型中，而且還采用了認知神經(jīng)科學的概念和方法來理解DNN的內(nèi)部表示。盡管可以使用諸如PyTorch和TensorFlow之類的通用深度學習框架來進行此類跨學科研究，但是使用這些框架通常需要高級編程專家和全面的數(shù)學知識。因此迫切需要一個專門為認知神經(jīng)科學家設計的工具箱，以繪制DNN和大腦的圖。在這項研究里，北京師范大學(后文稱北師大)研究團隊設計并開發(fā)了DNNBrain，這是一個基于Python的工具箱，旨在探索DNN和大腦中的內(nèi)部表示形式。通過集成DNN軟件包和完善的腦成像工具，DNNBrain為各種研究場景提供了應用程序和命令行界面，例如提取DNN激活，探測DNN表示，將DNN表示映射到大腦以及可視化DNN表示。北師大研究團隊人員表示，希望他們開發(fā)的這款工具箱可以加速將DNN應用到生物神經(jīng)系統(tǒng)建模以及利用認知神經(jīng)科學范式揭示DNN的黑匣子方面的科學研究。

DNNBrain軟件介紹

DNNBrain被設計成為一個集成的工具箱，可以用于描述DNNs的人工表示和大腦的神經(jīng)表示，如下圖表示。

對DNNs和人進行刺激后，可獲得人工神經(jīng)活動和生物神經(jīng)活動。通過將刺激、人工活動數(shù)據(jù)和生物神經(jīng)活動數(shù)據(jù)與定制設計的輔助IO文件組合在一起，DNNBrain允許用戶輕松地描述、比較和可視化DNNs和大腦的表示。

DNNBrain是一個模塊化框架，由IO、Base、Model、Algorithm四個模塊組成，如下圖所示。

IO模塊提供了管理與文件相關的輸入和輸出操作的工具。Base模塊定義用于數(shù)組計算和數(shù)據(jù)轉換的基礎類。Model模塊包含各種DNN模型。Algorithm模塊定義了探索神經(jīng)網(wǎng)絡和大腦的各種算法。所有模塊都提供了用戶友好的API。針對各種研究場景開發(fā)了一套CLIs。

Result

為了檢查DNN的人工表示，研究人員首先掃描DNN并獲得了其神經(jīng)活動，就像我們使用大腦成像設備掃描人的大腦一樣。DNNBrain提供API和CLI來提取DNN用戶指定通道的激活狀態(tài)。下圖顯示了了三個示例圖像(獵豹、啞鈴和禿鷹)的AlexNet五個Conv層的激活圖，這些圖像顯示了五個Conv層中每個層的最大平均激活，這表明圖像的DNN表示隨著 層的深度增加變得更加抽象。

上圖(A) AlexNet包含五個Conv層，3個FC層和一個1000-way的softmax分類器。(B)提取了三個示例圖像(獵豹、啞鈴和禿鷹)的AlexNet五個Conv層的激活圖。所呈現(xiàn)的通道是在五個Conv層中每個層中顯示該示例圖像的最大平均激活的通道。

DNNBrain中還實現(xiàn)了編碼模型和表示相似性分析，以幫助研究人員檢查DNN與大腦表示之間的對應關系。

上圖(A)使用來自AlexNet Conv層的人工表示法預測VTC BOLD響應的體素式編碼模型的編碼精度圖。(B) BOLD5000刺激的RDM是根據(jù)AlexNet的Conv層的人工表示和人類VTC的大腦激活模式計算得出的。將每對圖像之間的表示距離量化為它們的表示之間的相關距離。DNN和大腦之間的表示相似性進一步計算為其RDM之間的Pearson相關性。

研究人員使用DNNBrain來可視化AlexNet的三個輸出單元（即鴕鳥，孔雀和火烈鳥）的首選功能。選擇輸出單元作為示例是因為它們產(chǎn)生的功能易于檢查（即每個單元對應一個唯一的類別）。這些過程本質(zhì)上適用于DNN中的任何單元。

上圖(A)從BOLD5000數(shù)據(jù)集中發(fā)現(xiàn)的top刺激。(B)為(A)中顯示的top刺激計算的顯著性圖。(C)通過增加相應神經(jīng)元的激活來引導從頭開始合成的圖像。

總結

北師大研究團隊為探索DNN和大腦中的內(nèi)部表示形式設計并開發(fā)了一個基于Python的工具箱--DNNBrain。通過集成DNN軟件包和完善的腦成像工具，DNNBrain為各種研究場景提供了應用程序和命令行界面，例如提取DNN激活，探測DNN表示，將DNN表示映射到大腦以及可視化DNN表示。北師大研究團隊人員表示，期待他們開發(fā)的這款工具箱可以加速將DNN應用到生物神經(jīng)系統(tǒng)建模以及利用認知神經(jīng)科學范式揭示DNN的黑匣子方面的科學研究。

文章來源于公眾號"腦機接口社區(qū)"