摘要：靚文推薦以上介紹的就是最原始最開始的，也叫，年提出的。在經(jīng)過多年的改進(jìn)后也有幾個(gè)延伸版本了如使用了的版本，借鑒了的版本，這里也不再細(xì)講，只推薦幾篇我認(rèn)為比較好的靚文各層的詳細(xì)設(shè)定及其延伸版本更多自尋

咕了一個(gè)多月后終于重新變成人，今天我們就來談?wù)? 咕咕net（GoogLeNet） 的結(jié)構(gòu)，在下次咕咕（大表哥2）之前掙扎一下。

GoogLeNet初始的想法很簡(jiǎn)單，“大力出奇跡”，即通過增加網(wǎng)絡(luò)的網(wǎng)絡(luò)的尺寸（深度與寬度）來變強(qiáng)。這腦回路看上去沒啥毛病，但是一用在原味版的cnn上問題就來了，尺寸的增加和全連接層的存在帶來了巨量的參數(shù)，計(jì)算成本暴增的同時(shí)增加了過擬合的風(fēng)險(xiǎn)。為了解決這一麻煩貫徹“大力出奇跡”方針，新的網(wǎng)絡(luò)結(jié)構(gòu)被提了出來，而其中的精妙之處就是inception模塊，用上該模塊的GoogLeNet能更高效的利用計(jì)算資源，在相同的計(jì)算量下能提取到更多的特征，從而提升訓(xùn)練結(jié)果，下面就談?wù)勊?/p> Inception 模塊

從圖片來看inception模塊就用不同尺寸的卷積核同時(shí)對(duì)輸入進(jìn)行卷積操作，外加一個(gè)池化操作，最后把各自的結(jié)果匯聚在一起作為總輸出（暗示他們都有相同的尺寸）。與傳統(tǒng)cnn的串聯(lián)結(jié)構(gòu)不同，inception模塊使用了并行結(jié)構(gòu)并且引入了不同尺寸的卷積核。關(guān)于為什么這種改變是好的，下面是一些參考解釋：

直觀感覺上，在多個(gè)尺度上同時(shí)進(jìn)行卷積，能提取到不同尺度的特征，這是好的

（最主要的優(yōu)點(diǎn)）以往為了打破網(wǎng)絡(luò)對(duì)稱性和提高學(xué)習(xí)能力，傳統(tǒng)的網(wǎng)絡(luò)都使用了隨機(jī)稀疏連接。但是，計(jì)算機(jī)軟硬件對(duì)非均勻稀疏數(shù)據(jù)的計(jì)算效率是很差的。那么存不存在既能保持網(wǎng)絡(luò)結(jié)構(gòu)的稀疏性，又能利用密集矩陣的高計(jì)算性能的方法呢？答案就在這個(gè)inception里，其實(shí)現(xiàn)將稀疏矩陣聚類為較為密集的子矩陣來提高計(jì)算性能。

再說下inception的一些設(shè)定：

卷積核尺寸使用1，3，5是為了方便對(duì)齊，只需padding分別為0，1，2；步長(zhǎng)都取1 就能獲得相同尺寸的輸出以疊加

網(wǎng)絡(luò)越到后面，特征越抽象，而且每個(gè)特征所涉及的感受野也更大了，因此隨著層數(shù)的增加，3x3和5x5卷積（數(shù)量）的比例也要增加

然而像上圖一樣直接投入使用，參數(shù)量和計(jì)算量還是很大的，為了進(jìn)一步降低消耗，inception在 3x3 和 5x5 卷積前和池化后引進(jìn)了 1x1 卷積進(jìn)行數(shù)據(jù)降維（事先把數(shù)據(jù)深度下降），還能順便增加網(wǎng)絡(luò)深度。如下圖紅色區(qū)域。另：降維后還是需要經(jīng)過激活函數(shù)

至于降維操作是否會(huì)造成數(shù)據(jù)丟失？就結(jié)果來看來不必?fù)?dān)心，別人已經(jīng)測(cè)試過了

既然最核心的inception模塊講完了，那就直接展示GoogLeNet的結(jié)構(gòu)了，其大部分都是各種inception模塊疊加而成的。

整個(gè)網(wǎng)絡(luò)除了inception外最引人注目的就是中途露出的兩個(gè)小尾巴了，那是兩個(gè)輔助分類器。說實(shí)話這是GoogLeNet第二個(gè)精妙之處了。除了最終的分類結(jié)果外，中間節(jié)點(diǎn)的分類效果還是不錯(cuò)的，所以GoogLeNet干脆從中間拉了兩條分類器出來，然他們按一個(gè)較小的權(quán)重（如0.3）加到最終的分類結(jié)果中，這樣做好處有三：

相當(dāng)于做了模型整合

給網(wǎng)絡(luò)增加了反向傳播的梯度信號(hào)，一定程度解決了深網(wǎng)絡(luò)帶來的梯度消失的問題

而且還提供了額外的正則化

喵啊喵啊

當(dāng)然輔助分類器只用于訓(xùn)練階段，在測(cè)試階段是要去掉的

其他一些新奇之處就是網(wǎng)絡(luò)的最后用了平均池化代替了全連接層，然而后面還是接了一個(gè)全連接層，這是方便其他人進(jìn)行遷移學(xué)習(xí)的。

以上介紹的就是最原始最開始的GoogLeNet，也叫GoogLeNet Incepetion V1，2014年提出的。在經(jīng)過多年的改進(jìn)后GoogLeNet也有幾個(gè)延伸版本了如使用了BN的V2版本，借鑒了ResNet的V4版本，這里也不再細(xì)講，只推薦幾篇我認(rèn)為比較好的靚文

GoogLeNet各層Inception的詳細(xì)設(shè)定

GoogLeNet及其延伸版本

更多自尋