摘要：例如，是一些神經(jīng)元的特征，其中突觸權重變化的符號取決于突觸前后的較精確至毫秒量級相對定時。，是大腦自身調(diào)整其神經(jīng)元之間的連接強度的生物過程。從他博士期間就開始研究至今，目前可以說深度學習占領著機器學習的半壁江山，而則是深度學習的核心。

上次說到誤差梯度的“反向傳播”（Backpropagation），這次咱們從這繼續(xù)。需要說明的是，原文太長，有的地方會有些冗長啰嗦，所以后面的我會選擇性地進行翻譯，然后附上一些思考和問題的注釋，會更像讀書筆記吧，這樣也可以讓學習過程更高效一些。

2.2.2. Biologically plausible approximations of gradient descent

這一節(jié)主要講的是為了在生物學習中實現(xiàn)機器學習中的誤差梯度的反向傳播，更復雜的gradient propagation機制應該被考慮。雖然這些機制在細節(jié)上不同，但是它們都調(diào)用具有相位誤差的反饋連接。學習是通過將預測與目標進行比較來進行的，并且預測誤差用于驅(qū)動自底向上活動中的自上而下的改變。

文中很多地方提到neuron spike, 神經(jīng)元的電活動，但不代表該神經(jīng)元一定被激活。個人覺得比較難翻譯, “神經(jīng)元動作電位”在有的地方不太通順，所以后面就直接使用英文來描述這個概念。Google一番之后找到的定義是：During a spike, or action potential as it is called by neuroscientists, a neuron"s membrane potential quickly rises from values around -65 mV to about 20 mV and then drops back to -65 mV.

反向傳播的近似也可以通過神經(jīng)活動的毫秒級定時來實現(xiàn)（O"Reilly et al., 2014b）。例如，Spike timing dependent plasticity（STDP）（Markram et al., 1997）是一些神經(jīng)元的特征，其中突觸權重變化的符號取決于突觸前后spike的較精確至毫秒量級相對定時。這通常被解釋為測量突觸前和突觸后之間的因果關系的潛力的Hebbian可塑性：突觸前的spike可能有助于突觸后的spike，僅當兩者發(fā)生的時間間隔很小的時候。為了實現(xiàn)反向傳播機制，Hinton提出了一種替代解釋：神經(jīng)元可以在它們的激活率（firing rate）的時間導數(shù)中對反向傳播所需的誤差導數(shù)類型進行編碼（Hinton, 2007, 2016）。于是STDP就與這些對誤差導數(shù)敏感的學習規(guī)則相關聯(lián)（Xie and Seung, 2000; Bengio et al., 2015b）。換句話說，在適當?shù)木W(wǎng)絡環(huán)境中，STDP學習可以產(chǎn)生反向傳播的生物實現(xiàn)。

STDP，Wikipedia：是大腦自身調(diào)整其神經(jīng)元之間的連接強度的生物過程。 該過程基于特定神經(jīng)元的輸出和輸入動作電位（或spike）的相對定時來調(diào)整連接強度。 STDP過程部分解釋神經(jīng)系統(tǒng)的活性依賴性發(fā)展，特別是關于Long-term potentiation和Long-term depression。（從定義可以看出它與Backpropagation之間有很高的相似性）

生物神經(jīng)網(wǎng)絡可以近似反向傳播的另一種可能機制是“反饋比對”（feedback alignment）（Lillicrap et al., 2014; Liao et al., 2015）。在feedback alignment中，反向傳播中的反饋通路由一組隨機反向連接代替，一個層的誤差導數(shù)是通過該反饋通路從后續(xù)層的誤差導數(shù)來計算的，而不依賴于前向權重。根據(jù)前饋和反饋連接之間的突觸歸一化機制和近似符號一致性的存在（Liao et al., 2015），計算誤差導數(shù)的這種機制幾乎與各種任務的反向傳播一樣好。實際上，前向權重能夠適應性地使網(wǎng)絡進入一種狀態(tài)，其中隨機后向權重實際上可以攜帶用于近似梯度的信息。這是一個引人注目和令人驚訝的發(fā)現(xiàn)，并且它表明我們對梯度下降優(yōu)化的理解，特別是反向傳播本身起作用的機制仍然是不完全的。在神經(jīng)科學中，我們發(fā)現(xiàn)幾乎無論在哪里找到前饋連接，哪里就伴隨有反饋連接，討論它們的作用是很多研究理論的主題（Callaway, 2004; Maass et al., 2007）。應當注意的是，feedback alignment本身并不較精確地指定神經(jīng)元如何表示和利用誤差信號，它僅放寬對誤差信號的傳送的約束。因此，feedback alignment更多的是作為反向傳播的生物學實現(xiàn)的基礎，而不是完全生物學實現(xiàn)本身。因此，可以將其并入這里討論的幾個其他方案中。

毋庸置疑，大腦計算誤差導數(shù)的方式是復雜的，相信這與其使用多樣化且相互作用的動態(tài)目標函數(shù)機制是緊密聯(lián)系在一起的。而如今深度學習中的誤差導數(shù)傳播方法被Backpropagation所主導，相比之下，chain rule顯得有些naive。值得注意的是這里提到的隨機反饋連接，這是一個非常有意思的研究方向，如果添加注意力機制，可以理解為使用全局的信息對反向傳播的誤差導數(shù)進行近似，會加速收斂嗎？

這些討論的核心實際上是：使用另一個（或多個）神經(jīng)網(wǎng)絡去做求導的工作，至于為什么要這么做，可能就會涉及到需要對普通的微積分（黎曼積分）的局限性、函數(shù)空間等等進行討論了，這就需要很深入的數(shù)學知識了。

這里附上一篇最近比較前沿的關于合成梯度的paper：Decoupled Neural Interfaces using Synthetic Gradients，個人覺得它和NTM（Neural Turing Machine）、GAN（Generative Adversarial Networks）一樣，很可能是具有"里程碑"式意義的

上述的反向傳播的“生物學”實現(xiàn)仍然缺乏生物實際性（biological realism）的一些關鍵方面。 例如，在大腦中，神經(jīng)元往往是興奮性的或抑制性的，但不是兩者同時存在，而在人工神經(jīng)網(wǎng)絡中，單個神經(jīng)元可向其下游神經(jīng)元同時發(fā)送興奮性和抑制性信號。 幸運的是，這種約束不會限制其可以學習各種函數(shù)的能力（Parisien et al., 2008; Tripp and Eliasmith, 2016）。 然而，其他生物學考量則需要更詳細地看待：生物神經(jīng)網(wǎng)絡的高度重現(xiàn)（recurrent）性質(zhì)，其顯示在時間尺度上豐富的動力學特性（dynamics, 這個詞也很難翻譯，個人更傾向于“動態(tài)”），以及哺乳動物大腦中的大多數(shù)神經(jīng)元通過spike通信的事實。 我們下面依次考慮這兩個問題。

2.2.2.1. Temporal credit assignment

再次遇到credit assignment，之前有翻譯成“信用分配”，還是有些模糊，有人翻譯成“功勞分配”，有些“能者多勞”的感覺，通俗地解釋是：認為表現(xiàn)好的組件就多給它一些權重，這樣對實現(xiàn)目標更有利

這個部分主要講的是BPTT（backpropagation through time），主要就是針對RNN，就不贅述了，就是把backpropagation在時間尺度上展開，然后可以把credit assign到不同的time steps（或者internal state）。不過作者表示：While the network unfolding procedure of BPTT itself does not seem biologically plausible, to our intuition, it is unclear to what extent temporal credit assignment is truly needed (Ollivier and Charpiat, 2015) for learning particular temporally extended tasks. BPTT生物學的生物學可解釋性目前還是不太確定的。

如果系統(tǒng)被授予對時間上下文（context）的適當存儲器存儲和表示（Buonomano and Merzenich, 1995; Gershman et al., 2012, 2014）的訪問，這可以潛在地減少對時間尺度上credit assignment的需要， 可以“空間化”時間credit assignment的問題。 例如，Memory Network（Weston et al., 2014）

有興趣的讀者可以看看Memory Network，引入記憶存儲之后網(wǎng)絡將具備實現(xiàn)推理的基礎，這個話題就會引發(fā)一系列的關于Memory Augmented Networks的討論和研究，目前是非常熱門的，比如DeepMind的DNC就是一個對這類網(wǎng)絡更廣義的擴展，已經(jīng)抽象到了另一種計算機實現(xiàn)，這個論文是發(fā)在Nature上的。

Werbos在他的“error critic”中提出，通過學習以與強化學習中的價值函數(shù)的預測類似的方式學習預測BPTT的梯度信號（costate），可以實現(xiàn)對BPTT的online approximation（Werbos and Si, 2004）。這種想法最近被應用于（Jaderberg et al., 2016，就是之前提到合成梯度的那個研究），以允許在訓練期間網(wǎng)絡的不同部分的解耦，并且便于通過時間的反向傳播。廣義上，我們才剛開始理解神經(jīng)活動本身如何表示時間變量（Xu et al., 2014; Finnerty et al., 2015），以及如何經(jīng)常性的網(wǎng)絡可以學習生成人口變化隨時間的軌跡（Liu and Buonomano, 2009）。此外，正如我們在下面將討論的，一些cortical models也提出，除了BPTT還可通過其他方式去訓練網(wǎng)絡以完成序列預測任務，甚至是在線學習（O"Reilly et al., 2014b; Cui et al., 2015; Brea et al., 2016）。可以使用很多更實際的手段來近似BPTT。

2.2.2.2. Spiking networks（這個不太熟悉，雖然大概60年前就提出了）

這個部分不太熟悉，跳過一些。但里面提到的快速、慢速連接是非常贊的idea，在Bengio的一些演講中好像有提到，但我還沒有很理解具體如何實現(xiàn)這種不同速率的計算連接

使用具有多個時間尺度的循環(huán)連接（recurrent connection）可以消除在直接訓練spike reccurrent networks的過程中反向傳播的需要（Bourdoukan and Denève, 2015）。 快速連接將網(wǎng)絡維持在慢速連接能夠局部訪問全局錯誤信號的狀態(tài)。 雖然這些方法的生物依據(jù)仍然是未知的，它們都允許在spike networks中學習連接權重。

這些新穎的學習算法說明了一個事實，我們才剛開始理解生物神經(jīng)網(wǎng)絡中的時間動力學特性和時間和空間credit assignment機制之間的聯(lián)系。 然而，我們認為在這里現(xiàn)有的證據(jù)表明生物似真的神經(jīng)網(wǎng)絡可以解決這些問題 - 換句話說，在生物神經(jīng)元的spiking networks的上下文環(huán)境下，復雜的與時間歷史相關的函數(shù)可能被有效地優(yōu)化。 這些復雜的函數(shù)可以是認知相關的，但問題是發(fā)展中的大腦如何有效地學習這樣復雜的功能。

小結(jié)：本節(jié)文中討論的內(nèi)容與RNN訓練和學習關系密切，為了更好的理解這部分以及后面部分的內(nèi)容，個人覺得需要還做一些功課。Bengio從他博士期間就開始研究RNN至今，目前可以說深度學習占領著機器學習的半壁江山，而RNN則是深度學習的核心。

這里建議暫停一下先認真看看下面三篇paper，甚至RNN更基礎的東西。

On the difficulty of training recurrent neural networks

Professor Forcing: A New Algorithm for Training Recurrent Networks

Decoupled Neural Interfaces using Synthetic Gradients

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754