摘要：每傳遞一層，就相當(dāng)于執(zhí)行一次線性分類器和激活函數(shù)，其輸出可作為下一個(gè)線性分類器的輸入繼續(xù)往下傳遞。像這樣多個(gè)線性分類器疊加起來，那種網(wǎng)絡(luò)結(jié)構(gòu)就成型了。

【DL-CV】計(jì)算機(jī)視覺前置了解<前篇---后篇>【DL-CV】損失函數(shù)，SVM損失與交叉熵?fù)p失

神經(jīng)網(wǎng)絡(luò)的變種很多，各種模型滿天飛，但是相信大家見得最多的是這種

這是多層感知器（multilayer perceptron/MLP），不加特效的最原始的神經(jīng)網(wǎng)絡(luò)，經(jīng)典中的經(jīng)典。（如無特別注釋，神經(jīng)網(wǎng)絡(luò)通常指經(jīng)典的mlp神經(jīng)網(wǎng)絡(luò)）。在接觸其他熱門變種如卷積神經(jīng)網(wǎng)絡(luò)前，我們會好好和MLP這位小朋友玩，了解他的特性，調(diào)教教導(dǎo)他，這樣遇到其他小朋友才會有法可教，最終征服所有孩子成為孩子王啦。
然而要搞好MLP也是一個(gè)漫長的過程，作為第一步，首先來了解線性分類器，并看看它是如何解決圖像分類問題的

現(xiàn)在有輸入的圖像數(shù)組x，以及一堆參數(shù)W和b，如何組合它們將圖像的像素值映射為各個(gè)分類類別的得分？最簡單的方式就是乘起來求和（線性組合），這就是一個(gè)線性分類器。該方法可以地延伸到神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)上

其形式就是一個(gè)函數(shù) $$f(x,W,b) = {W*x+b}$$這里的x是圖像數(shù)據(jù)/特征值展開成的列向量；W是參數(shù)矩陣，稱其為權(quán)重（weights）；b叫偏置值（bias），與W*x形狀相同。
但更多時(shí)候我們會把W與b合并在一起,然后給x增加一維并用1填充這一維，變成 $f(x,W_{new}) = {W_{new}*x}$ 的形式，這種變換是等價(jià)的

注：除了W*x外，x*W也是可以的，取決于x是列向量還是行向量。

將每行W和b看做一個(gè)模板：假設(shè)我們把函數(shù)直接用于評分

如圖，每種顏色都是服務(wù)于某個(gè)的類評分的，相當(dāng)于W和b的每一行都是一個(gè)小的分類器/模板。上圖的結(jié)果很不理想（貓被硬說成是狗），當(dāng)然后面會有方法實(shí)現(xiàn)學(xué)習(xí)功能讓其通過訓(xùn)練集自學(xué)到更好的W和b，使得計(jì)算出來的類別分值情況和訓(xùn)練集中圖像數(shù)據(jù)的真實(shí)類別標(biāo)簽相符。在這你可以暫時(shí)忽略這些問題只關(guān)注函數(shù)本身原理。

將圖像看做高維度的點(diǎn)：既然圖像被伸展成為了一個(gè)高維度的列向量，那么我們可以把圖像看做這個(gè)高維度空間中的一個(gè)點(diǎn)。整個(gè)數(shù)據(jù)集就是一個(gè)點(diǎn)的集合，每個(gè)點(diǎn)都帶有1個(gè)分類標(biāo)簽。W和b的作用就相當(dāng)于在這個(gè)空間中劃線分開這些點(diǎn)，W相當(dāng)于斜率（使線旋轉(zhuǎn)），b相當(dāng)于截距（使線平移）

以紅色的汽車分類器為例，紅線表示空間中汽車分類分?jǐn)?shù)為0的點(diǎn)的集合，紅色的箭頭表示分值上升的方向。所有紅線右邊的點(diǎn)的分?jǐn)?shù)值均為正，且線性升高。紅線左邊的點(diǎn)分值為負(fù)，且線性降低。

函數(shù)我都懂，但這和本文開始的那張圖有什么關(guān)系？
答案就在藏在矩陣乘法，矩陣的乘法形成了網(wǎng)狀結(jié)構(gòu)。每條連線對應(yīng)權(quán)重的一個(gè)值，傳遞時(shí)進(jìn)行乘法操作；所以上層所有的神經(jīng)元（儲存特征值或輸入的單元）與下層一個(gè)神經(jīng)元的連線對應(yīng)一行權(quán)重，傳遞時(shí)進(jìn)行線性組合后加上偏置值，得到的結(jié)果還要通過激活函數(shù)（后面再講）最終的到特征值。每傳遞一層，就相當(dāng)于執(zhí)行一次線性分類器和激活函數(shù)，其輸出可作為下一個(gè)線性分類器的輸入繼續(xù)往下傳遞。像這樣多個(gè)線性分類器疊加起來，那種網(wǎng)絡(luò)結(jié)構(gòu)就成型了。

另外補(bǔ)充一下：實(shí)際上我們不會/很少用單層神經(jīng)網(wǎng)絡(luò)，使用一個(gè)線性分類器就實(shí)現(xiàn)對圖像分類的評分是不現(xiàn)實(shí)的，因?yàn)檫@樣提取的特征信息太淺了，往往因?yàn)轭伾蛐螤钕嘟蜁粴w為同類。正確做法應(yīng)該是使用多層網(wǎng)絡(luò)，對淺層特征進(jìn)行再組合獲得深層特征，最后才根據(jù)深層特征值來評分