摘要：就像在權重擾動中，而不同于串擾的是，最小的全局協調是必須的每個神經元僅需要接收指示全局成本函數的反饋信號。在深度強化學習中比如可否使用不可微分的目標函數呢值得探索相反，反向傳播通過基于系統的分層結構計算成本函數對每個權重的靈敏度來工作。

2. 大腦能夠進行成本函數優化

許多機器學習方法（如典型的監督式學習）是基于有效地函數優化，并且，使用誤差的反向傳播（Werbos, 1974; Rumelhart et al., 1986）來計算任意參數化函數的梯度的能力是一個很關鍵的突破，這在下文我們將詳細描述。在假設1中，我們聲稱大腦也是，至少部分是，優化機（optimization machine，指具有優化函數能力的裝置）。但是，究竟說大腦可以優化成本函數是什么意思呢？畢竟，許多自然界中的許多過程都可以被視為優化。例如，物理定律通常被認為是最小化一個動作的功能，而進化優化的是復制基因（replicator）在長時間尺度上的適應性。要明確的是，我們的主張是：（a）大腦在學習期間具有強大的信用分配機制，允許它通過調整每個神經元的屬性以提升全局輸出結果，以此來優化多層網絡中的全局目標函數，以及（b）大腦具有確定哪些成本函數對應其哪些子網絡的機制，即，成本函數是高度可調的，這是由進化逐步形成并與動物的生理需求相匹配。因此，大腦使用成本函數作為其發展的關鍵驅動力，就像現代機器學習系統一樣。

可能部分讀者在系列一中對credit assignment（信用分配）還存在疑惑，這里解釋一下：信用分配問題主要考慮的是如何確定系統的整體性能的成功是由系統組件的各種貢獻哪些部分決定的（Minsky，1963），這是人工智能先驅Marvin Minsky提出的，本質上應屬于對目標函數優化的一部分，實際上神經網絡權重調節的機制就是一直信用分配。

為了理解這些主張的基礎，我們現在必須深入了解大腦如何有效地執行大型多層網絡中的信用分配的細節，以優化更為復雜的函數。我們認為大腦使用幾種不同類型的優化來解決不同的問題。在一些結構中，其可以使用遺傳基因預先規定的神經回路去解決僅需要基于數據即可快速學習的問題，或者可以利用局部優化以避免通過多層神經元來分配信用的需要。它還可以使用許多后天發展出來的電路結構（神經回路），允許其通過多層神經元網絡執行誤差的反向傳播（這里誤差來至于網絡實際輸出與真實期望值之間的差距），這個過程使用生物學上實際存在的機制是可以實現的 - 曾經一度被廣泛認為是不具有生物學可解釋性的（Crick, 1989; Stork, 1989）。潛在的此類機制包括：以常規的方式反向傳播誤差導數（gradient，梯度）的神經電路，以及提供對梯度進行有效估計（gradient approximation，最近也有突破，避免了直接從目標函數開始求導計算）的神經回路，即快速計算成本函數對于任何給定連接權重的近似梯度。最后，大腦可以利用某些特定的神經生理學方面的算法，例如神經脈沖的時間依賴可塑性（spike timing dependent plasticity）、樹突計算（dendritic computation）、局部興奮性抑制網絡或其他性質，以及更高級別大腦系統的綜合性質。這樣的機制可以允許學習能力甚至超過當前基于反向傳播的網絡。

2.1 無多層信用分配的局部自組織與優化

不是所有的學習過程都需要一個通用的優化機制，如梯度下降。許多關于神經皮質的理論（George and Hawkins, 2009; Kappel et al., 2014）強調潛在的自組織和無監督的學習屬性，可以消除多層反向傳播的需要。 根據突觸前后活動的相關性來調整權重的神經元Hebbian可塑性理論已經被很好的確立。Hebbian可塑性（Miller and MacKay, 1994）有很多版本，例如，加入非線性（Brito and Gerstner, 2016），可以引發神經元之間的不同形式的相關和競爭，導致自我組織（self-organized）的眼優勢柱（ocular dominance columns）、自組織圖和定向列形成（Miller et al., 1989; Ferster and Miller, 2000）。通常這些類型的局部自組織也可以被視為優化成本函數：例如，某些形式的Hebbian可塑性可以被視為提取輸入的主要分量，這最小化重建誤差（Pehlevan and Chklovskii, 2015） 。

Auto-encoders 這類人工神經網絡就是上述功能的代表。

為了生成復雜的具有時間關聯的學習模式，大腦還可以實現任何與不需要通過多層網絡的完全反向傳播等效的其他形式的學習。例如，“液體狀態機”（Maass et al., 2002）或“回波狀態機（echo state）”（Jaeger and Haas, 2004）是隨機連接的復現網絡（recurrent net），其可形成隨機的基礎濾波器集合（也稱為“庫濾波器），并利用可調諧的讀出層權重來學習。體現混沌（chaotic）和自發動力（spontaneous dynamics）的變體甚至可以通過將輸出層結果反饋到網絡中并抑制混沌活動（chaotic activity ）來訓練（Sussillo and Abbott, 2009）。僅學習讀出層使得優化問題更簡單（實際上，等價于監督學習的回歸）。此外，回波狀態網絡可以通過強化學習以及監督學習來訓練（Bush, 2007; Hoerzer et al., 2014）。隨機非線性濾波器的儲層（reservoirs）是對許多神經元的多樣化、高維度、混合選擇性調諧特性的一種解釋，例如這種現象存在與大腦前額葉皮質中（Enel et al., 2016）。其他學習規則去僅修改隨機網絡內部的一部分突觸的變體，正發展成為生物短期記憶（working memory）和序列生成的模型（Rajan et al., 2016）。

這段讀起來非常吃力，但值得注意的是其中提到的只對輸出層進行無監督訓練的方式，是否一定能使優化變得簡單呢？可以嘗試做實驗驗證一下。另外，局部自組織，也可理解為“局部無監督學習”。

2.2 優化的生物學實現

我們認為上述局部自組織的機制可能不足以解釋大腦的強大學習表現（Brea and Gerstner, 2016）。 為了詳細說明在大腦中需要有效的梯度計算方法，我們首先將反向傳播置于其計算的上下文環境中（Hinton, 1989; Baldi and Sadowski, 2015）。 然后我們將解釋大腦如何合理地實現梯度下降的近似。

這里厲害了，gradient approximation （梯度近似）是深度學習里最迫切需要解決的問題，因為這樣將大大減少對計算資源的消耗。

2.2.1 多層神經網絡對高效梯度下降的需求

執行成本函數優化的最簡單的機制有時被稱為“旋轉”算法，或更技術上稱為“串擾”。這種機制通過以小增量擾動（即“twiddling”） 網絡中的一個權重，以及通過測量網絡性能（對比成本函數的變化，相對于未受干擾的權重）來驗證改進。 如果改進是顯著的，擾動被用作權重的變化方向; 否則，權重沿相反方向改變（或根本不改變）。 因此串行擾動是對成本“coordinate descent”的方法，但是它是緩慢的并且需要全局協調：每個突觸按順序被擾動而要求其他保持固定。

總的來說，twiddling思想是比較簡單的，但是在全局范圍實現卻很困難，并不是一個可行的解決方案。

另一方面，自然地我們會想到全局權重擾動（或平行擾動）即同時擾動網絡中的所有權重。 它能夠優化小型網絡以執行任務，但通常引發高方差。 也就是說，梯度方向的測量是有噪聲的，并且其在不同擾動之間劇烈變化，因為權重對成本函數的影響被所有其他權重的變化掩蔽，然而只有一個標量反饋信號指示成本的變化。 對于大型網絡，全局權重擾動是非常低效的。 事實上，如果時間測量計數網絡從輸入到輸出傳播信息的次數，則并行和串行擾動以大致相同的速率學習（Werfel et al., 2005）。

上述的過程，在反向傳播過程中形成了一對多（目標函數標量變化對應多種可能的權重變化）的映射關系，這是任何一般意義上的函數都無法擬合的（信息不能被完全學習），因為這種映射不屬于函數。

一些效率增益可以通過擾亂神經活動而不是突觸權重來實現，遵循神經突觸的任何長程效應通過神經元介導的事實。就像在權重擾動中，而不同于串擾的是，最小的全局協調是必須的：每個神經元僅需要接收指示全局成本函數的反饋信號。在假定所有神經元或所有權重分別被擾動并且它們在相同頻率處被擾動的假設下，節點擾動梯度估計的方差遠小于權重擾動的方差。在這種情況下，節點擾動的方差與網絡中的細胞數量成比例，而不是突觸的數量。

所有這些方法都是緩慢的，不是由于對所有權重的串行迭代所需的時間復雜度大，就是對于低信噪比梯度估計的平均所需的時間復雜度大。然而，他們的信譽（credit），這些方法都不需要超過關于局部活動和單一全局成本信號的知識。大腦中的真實神經回路似乎具有編碼與實現那些算法相關的信號的機制（例如，可擴散神經調節器）。在許多情況下，例如在強化學習中，基于未知環境的交互計算的成本函數不能直接進行微分，并且代理（agent，智能代理，強化學習中的術語）不得不部署聰明的twiddling以在系統的某個級別進行探索（Williams, 1992）。

這個方法對于不可微的目標函數是非常有用的，在我的知識范圍內，目前還沒有發現深度學習有對不可微分的目標函數探索過。但如上文所述，這是非常緩慢的，可能也只適合在強化學習（reinforcement learning）中使用。在深度強化學習中（比如AlphaGo）可否使用不可微分的目標函數呢？值得探索

相反，反向傳播通過基于系統的分層結構計算成本函數對每個權重的靈敏度來工作。 相對于最后一層的成本函數的導數可以用于計算關于倒數第二層的成本函數的導數，等等，一直到最早的輸入層。 可以快速計算反向傳播，并且對于單個輸入 - 輸出模式，其在其梯度估計中不存在方差（variance = 0）。 反向傳播的梯度對于大型系統而言比對于小系統沒有更多的噪聲，因此可以使用強大計算能力有效地訓練深而寬的架構。

這段基本解釋了目前的深度神經網絡為什么使用BP可以被有效訓練。

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754