1. 局部感受野

在圖像中局部像素之間的聯(lián)系較為緊密，而距離較遠的像素聯(lián)系相對較弱。因此，其實每個神經(jīng)元沒必要對圖像全局進行感知，只需要感知局部信息，然后在更高層局部信息綜合起來即可得到全局信息。卷積操作即是局部感受野的實現(xiàn)，并且卷積操作因為能夠權值共享，所以也減少了參數(shù)量。

2. 池化

池化是將輸入圖像進行縮小，減少像素信息，只保留重要信息，主要是為了減少計算量。主要包括最大池化和均值池化。

3. 激活函數(shù)

激活函數(shù)的用是用來加入非線性。常見的激活函數(shù)有sigmod, tanh, relu，前兩者常用在全連接層，relu常見于卷積層。

4.全連接層

全連接層在整個卷積神經(jīng)網(wǎng)絡中起分類器的作用。在全連接層之前需要將之前的輸出展平。

二、經(jīng)典網(wǎng)絡結構

1. LeNet5

由兩個卷積層，兩個池化層，兩個全連接層組成。卷積核都是5×5，stride=1，池化層使用maxpooling。

2. AlexNet

模型共八層（不算input層），包含五個卷積層、三個全連接層。最后一層使用softmax做分類輸出

AlexNet使用了ReLU做激活函數(shù)；防止過擬合使用dropout和數(shù)據(jù)增強；雙GPU實現(xiàn)；使用LRN。

3. VGG

全部使用3×3卷積核的堆疊，來模擬更大的感受野，并且網(wǎng)絡層數(shù)更深。VGG有五段卷積，每段卷積后接一層最大池化。卷積核數(shù)目逐漸增加。

總結：LRN作用不大；越深的網(wǎng)絡效果越好；1×1的卷積也很有效但是沒有3×3好。

4. GoogLeNet(inception v1)

從VGG中我們了解到，網(wǎng)絡層數(shù)越深效果越好。但是隨著模型越深參數(shù)越來越多，這就導致網(wǎng)絡比較容易過擬合，需要提供更多的訓練數(shù)據(jù)；另外，復雜的網(wǎng)絡意味更多的計算量，更大的模型存儲，需要更多的資源，且速度不夠快。GoogLeNet就是從減少參數(shù)的角度來設計網(wǎng)絡結構的。

GoogLeNet通過增加網(wǎng)絡寬度的方式來增加網(wǎng)絡復雜度，讓網(wǎng)絡可以自己去應該如何選擇卷積核。這種設計減少了參數(shù) ，同時提高了網(wǎng)絡對多種尺度的適應性。使用了1×1卷積可以使網(wǎng)絡在不增加參數(shù)的情況下增加網(wǎng)絡復雜度。

Inception-v2

在v1的基礎上加入batch normalization技術，在tensorflow中，使用BN在激活函數(shù)之前效果更好；將5×5卷積替換成兩個連續(xù)的3×3卷積，使網(wǎng)絡更深，參數(shù)更少

Inception-v3

核心思想是將卷積核分解成更小的卷積，如將7×7分解成1×7和7×1兩個卷積核，使網(wǎng)絡參數(shù)減少，深度加深

Inception-v4結構

引入了ResNet，使訓練加速，性能提升。但是當濾波器的數(shù)目過大（>1000）時，訓練很不穩(wěn)定，可以加入activate scaling因子來緩解

5. Xception

在Inception-v3的基礎上提出，基本思想是通道分離式卷積，但是又有區(qū)別。模型參數(shù)稍微減少，但是精度更高。Xception先做1×1卷積再做3×3卷積，即先將通道合并，再進行空間卷積。depthwise正好相反，先進行空間3×3卷積，再進行通道1×1卷積。核心思想是遵循一個假設：卷積的時候要將通道的卷積與空間的卷積進行分離。而MobileNet-v1用的就是depthwise的順序，并且加了BN和ReLU。Xception的參數(shù)量與Inception-v3相差不大，其增加了網(wǎng)絡寬度，旨在提升網(wǎng)絡準確率，而MobileNet-v1旨在減少網(wǎng)絡參數(shù)，提高效率。