這里 ｂ 和 α ｉ形成第二計算層。核函數 K（ x， xi ） 將輸入x匹配到訓練樣本 xi， 并在全局范圍求和。式（1） 的結果可作為分類器的區分類標簽， 或者回歸預測器的預測值。利有局部核函數的核方法能獲取泛化性能， 因其利用光滑性的先驗知識，即目標函數可利用光滑函數逼近。在監督學習中， 由訓練樣本（xi,yi）組建預測器， 當輸入 x與 xi靠近時， 輸出接近 yi。通常這是合理假設， 但文獻［ ９ ］ 中指出當目標函數非常復雜時， 這樣的模型泛化能力很差。其原因是利用局部估計學習算法表示函數時。一個局部估計子將輸入空間進行切分， 并需要不同自由度參數來描述目標函數在每一區域的形狀。當函數較為復雜時， 需要利用參數進行描述的區域數目也是巨大的。固定核函數的這種局限性已引起基于先驗知識設計核函數的研究，而如果缺乏足夠的先驗知識是否可通過學習獲取一個核函數？該問題同樣引起大量研究。Lanckriet?等人［ 16 ］提出利用半正定規劃技術學習數據的核矩陣， 然后利用該核矩陣獲取較好的泛化性能。然而當學習到的核函數相互關聯時， 能否獲取更加簡潔的表示。深度學習即基于這種思想并通過多次網絡學習輸入樣本的分布式表示， 被認為是較有前景的方法。

分布式表示［ 17 ］是在機器學習和神經網絡研究中可以處理 維數災難， 和局部泛化限制的一個古老的思想。如圖 １所示， 分布式表示由一系列有可能是統計獨立的顯著特征組成， 與局 部泛化的方法向對比， 基于分布式表示的可區分模式的數目與 分布式表示的維數（ 學習到的特征） 是指數倍關系的。參數數 目上的減少對統計機器學習是非常有意義的， 因為不僅可以降 低運算量， 同時僅需相對較少的樣本即可避免過擬合現象的發 生。而聚類算法和最近鄰算法等局部表示算法將輸入空間切 分如圖 １左側所示， 不同局部之間是互斥的， 不能形成簡潔的 分布式表示。Ｉ Ｃ Ａ、 Ｐ Ｃ Ａ和 Ｒ Ｂ Ｍ等算法用較少的特征將輸入 空間切分如圖 １右側所示， 并構建分布式表示， 參數數目和需 要的樣本數要比子區域的數目少得多， 這也是為什么會對未觀 測數據泛化的原因。Ｐ Ｃ Ａ和 Ｉ Ｃ Ａ可以獲取輸入的主要分量信 息， 但對于輸出信號數目小于輸入信號數目時， 不能很好地解 決欠定問題。文獻［ １ ８ ］ 中提出了利用自聯想神經網絡來提取 數據的非線性主分量的方法， 該學習方法的目的是通過事物的 部分信息或者帶噪聲的信息來還原事物的本來信息。自聯想 神經網絡的隱層節點數目少于輸入節點數目時， 可認為在自聯 想過程中， 這些隱層能夠保留數據集中的主要信息。多層神經 網絡和Boltzmann機已被用于學習分布式表征。文獻［ 19］ 已 證明利用 DBN學習特征空間對高斯過程回歸的性能進行提 高。深度學習算法可以看成核機器學習中一個優越的特征表 示方法。文獻［ ２ ］ 指出單個決策樹的泛化性能隨目標函數變 量增加而降低。多個樹的集成（ 森林） 比單個樹更加強大， 也 是因為增加了一個第三層， 并潛在地形成分布式表示， 可表達 與子樹數目指數倍個的分布。

4.深度學習成功的關鍵

深度學習具有多層非線性映射的深層結構， 可以完成復雜的函數逼近是深度學習優勢之一； 此外深度學習理論上可獲取

分布式表示， 即可通過逐層學習算法獲取輸入數據的主要驅動變量。該優勢是通過深度學習的非監督預訓練算法完成。通過生成性訓練可避免因網絡函數表達能力過強， 而出現過擬合情況。但由于單層有限的計算能力， 通過多層映射單元可提取出主要的結構信息。文獻［14］ 深入分析并通過實驗驗證了貪婪層次非監督深度學習方法優勢所在。

典型的深度學習結構

深度學習涉及相當廣泛的機器學習技術和結構， 根據這些結構和技術應用的方式。可以將其分成如下三類：

ａ ） 生成性深度結構。該結構描述數據的高階相關特性，或觀測數據和相應類別的聯合概率分布。

ｂ ） 區分性深度結構。目的是提供對模式分類的區分性能力。通常描述數據的后驗分布。

ｃ ） 混合型結構。它的目標是區分性的， 但通常利用了生成型結構的輸出會更易優化。

1.生成型深度結構

文獻［ ２ １ ］ 首次提出的 Ｄ Ｂ Ｎ是目前研究和應用都比較廣泛的深度學習結構。與傳統區分型神經網絡不同， 可獲取觀測數據和標簽的聯合概率分布， 這方便了先驗概率和后驗概率的估計， 而區分型模型僅能對后驗概率進行估計。Ｄ Ｂ Ｎ解決傳統 Ｂ Ｐ算法訓練多層神經網絡的難題： ａ ） 需要大量含標簽訓練樣本集； ｂ ） 較慢的收斂速度； ｃ ） 因不合適的參數選擇陷入局部最優。Ｄ Ｂ Ｎ由一系列受限波爾茲曼機（ Ｒ Ｂ Ｍ） 單元組成。Ｒ Ｂ Ｍ是一種典型神經網絡， 如圖２所示。該網絡可視層和隱層單元彼此互連（ 層內無連接） 。隱單元可獲取輸入可視單元的高階相關性。相比傳統 ｓ ｉ ｇ ｍ ｏ ｉ ｄ信度網絡， Ｒ Ｂ Ｍ權值的學習相對容易。為獲取生成性權值， 預訓練采用無監督貪心逐層方式來實現。在訓練過程中， 首先將可視向量值映射給隱單元； 然后可視單元由隱層單元重建； 這些新可視單元再次映射給隱單元，這樣就獲取新的隱單元。執行這種反復步驟叫做吉布斯采樣。

其中： vi是滿足均值為， 方差為１的高斯分布的實數值。高斯—伯努利 Ｒ Ｂ Ｍｓ 可將實值隨機變量轉換到二進制隨機變量， 然后再進一步利用伯努利—伯努利 Ｒ Ｂ Ｍｓ 處理。利用對數似然概率 ｌ ｏ ｇ（ ｐ （ ｖ ； θ ） 梯度， 可推導出 Ｒ Ｂ Ｍ的權值更新準則：

其中：??是在觀測數據訓練集中的期望；?是模型中定義的期望。精心訓練 Ｒ Ｂ Ｍ對成功應用深度學習是一個關鍵。文獻［ ２ ０ ］ 提供了對 Ｒ Ｂ Ｍ實際訓練的指導。通過自底向上組合多個 Ｒ Ｂ Ｍ可以構建一個 Ｄ Ｂ Ｎ ， 如圖 ３所示。應用高斯—伯努利 Ｒ Ｂ Ｍ或伯努利—伯努利 Ｒ Ｂ Ｍ?？捎秒[單元的輸出作為訓練上層伯努利—伯努利 Ｒ Ｂ Ｍ的輸入。第二層伯努利和伯努利的輸出作為第三層的輸入等。這個逐層高效的學習策略理論證明可參見文獻［ ２ １ ］ 。它指出上述逐層學習程序提高了訓練數據基于混合模型的似然概率的變化下界。

2.區分性深度結構 卷積神經網絡（ Ｃ Ｎ Ｎ ｓ ） 是第一個真正成功訓練多層網絡結構的學習算法。與 Ｄ Ｂ Ｎ ｓ 不同， 它屬于區分性訓練算法。受視覺系統結構的啟示， 當具有相同參數的神經元應用于前一層的不同位置時， 一種變換不變性特征就可獲取了。后來 Ｌ ｅ Ｃ ｕ ｎ等人沿著這種思路， 利用 Ｂ Ｐ算法設計并訓練了 Ｃ Ｎ Ｎ ｓ 。Ｃ Ｎ Ｎ ｓ作為深度學習框架是基于最小化預處理數據要求而產生的。受早期的時間延遲神經網絡影響， Ｃ Ｎ Ｎ ｓ 靠共享時域權值降低復雜度。Ｃ Ｎ Ｎ ｓ 是一個利用空間關系減少參數數目以提高一般前向 Ｂ Ｐ訓練的一種拓撲結構， 并在多個實驗中獲取了較好性能［ ５ ，２ ２ ］。在 Ｃ Ｎ Ｎ ｓ 中被稱做局部感受區域的圖像的一小部分作為分層結構的最底層輸入。信息通過不同的網絡層次進行傳遞， 因此在每一層能夠獲取對平移、 縮放和旋轉不變的觀測數據的顯著特征。

文獻［ ５ ，２ ２ ］ 描述 Ｃ Ｎ Ｎ ｓ 在 ＭＮ Ｉ Ｓ Ｔ數據庫中的手寫體識別應用情況。如圖４所示， 本質上， 輸入圖形與一系列已訓練的濾波器系數進行卷積操作。后經加性偏置和壓縮、 特征歸一化等。最初階段伴隨進一步降維的下采樣（ Ｃ ｘ ） 提供對空域變化的魯棒性。下采樣特征映射經加權后的可調偏置， 最終利用激活函數進行傳遞。組合多個上述映射層如圖 ５所示可獲取層間關系和空域信息。這樣 Ｃ Ｎ Ｎ ｓ 適于圖像處理和理解。國內學者夏丁胤［ ２ ３ ］將這種網絡應用于網絡圖像標注中。最近Ｃ Ｎ Ｎ ｓ 已應用于包括人臉檢測、 文件分析和語音檢測中等不同機器學習的問題中。

文獻［ ７ ］ 近期提出一新的深度學習算法。Ｄ Ｃ Ｎ如圖 ６所示， 每層子模塊是含單隱層和兩個可訓練的加權層神經網絡。Ｄ Ｃ Ｎ是由一系列分層子模塊串聯組成。模塊第一個線性輸入層對應輸入特征維數， 隱層是一系列非線性參數可調單元， 第二線性輸出包含線性輸出單元及原始輸入數據。最頂模塊的輸出代表分類目標單元。例如， 如果 Ｄ Ｃ Ｎ設定用于實現數字

識別， 輸出可表示成 １～１ ０的 ０  １編碼。如用于語音識別， 輸入對應語音波形采樣或波形提取特征， 如功率譜或倒譜系數，輸出單元代表不同音素。

3.混合型結構

混合型結構的學習過程包含兩個部分， 即生成性部分和區分性部分。現有典型的生成性單元通常最終用于區分性任務。生成性模型應用于分類任務時， 預訓練可結合其他典型區分性學習算法對所有權值進行優化。這個區分性尋優過程通常是附加一個頂層變量來表示訓練集提供的期望輸出或標簽。然后 Ｂ Ｐ算法可用于優化 Ｄ Ｂ Ｎ權值。它的初始權值通過在 Ｒ Ｂ Ｍ和 Ｄ Ｂ Ｎ預訓練中得到而非隨機產生。這樣的網絡通常會比僅通過 Ｂ Ｐ算法多帶帶訓練的網絡性能優越?？梢哉J為 Ｂ Ｐ對Ｄ Ｂ Ｎｓ 訓練僅完成局部參數空間搜索， 與前饋型神經網絡相比加速了訓練和收斂時間。最近基于 Ｄ Ｂ Ｎ ｓ 的研究包括應用層疊自動編碼器取代傳統 Ｄ Ｂ Ｎ ｓ 中的 Ｒ Ｂ Ｍｓ 。該方法可采用和 Ｄ Ｂ Ｎ ｓ相同的訓練準則， 不同的是自動編碼器利用區分性模型。去噪自動編碼器在訓練中引入隨機變化過程可以產生可以與傳統的 Ｄ Ｂ Ｎ ｓ相比擬的泛化性能。對單個去噪自動編碼器的訓練與 Ｒ Ｂ Ｍｓ 生成模型一致的。

深度學習應用現狀

深度學習在信號處理中的應用對象不僅包含語音、 圖像和視頻， 同樣也包含文本、 語言、 和傳遞人類可獲知的語義信息。傳統的 ＭＬ Ｐ已經在語音識別領域應用多年， 在多帶帶使用的情況下它們的性能遠低于利用 Ｇ ＭＭ Ｈ ＭＭ的系統。最近， 憑借具有很強區分性能力的 Ｄ Ｂ Ｎ ｓ 和序列建模能力的 Ｈ ＭＭｓ ， 深度學習技術成功應用于語音， 大詞匯量連續語音識別（ Ｌ Ｖ Ｃ Ｓ Ｒ ） ［ ２ ４ ］任務。文獻［ ２ ５ ］ 利用五層 Ｄ Ｂ Ｎ來替換 Ｇ ＭＭ Ｈ ＭＭ中的高斯混合模型， 并利用單音素狀態作為建模單元進行語音識別。文獻［ ２ ６ ］ 中， Ｎ ａ ｉ ｒ 等人提出在頂層利用三階波爾茲曼機的改進型 Ｄ Ｂ Ｎ ， 并將該 Ｄ Ｂ Ｎ應用于三維物體識別任務 Ｎ Ｏ Ｒ Ｂ數據庫， 給出了接近于歷史較好識別誤差結果， 特別地， 它指出

Ｄ Ｂ Ｎ實質上優于 Ｓ Ｖ Ｍｓ 等淺層模型。文獻［ ２ ７ ］ 提出了 ｔ Ｒ Ｂ Ｍ，并利用自動編碼器對舌輪廓進行實時提取。與一般訓練不同的是， 它首先采用利用樣本數據和人工提取的輪廓數據都同時作為訓練樣本輸入， 經正常的自動編碼器輸出； 訓練完畢后， 利用提出的 ｔ Ｒ Ｂ Ｍ對頂層進行改進， 以使僅有感知圖像作為輸入對舌輪廓進行預測。此外深度學習在語言文件處理的研究日益受到普遍關注。利用神經網絡對語言建模已有很長的歷史，在語音識別， 機器翻譯， 文本信息檢索和自然語言處理方面具有重要應用。最近， 深層網絡已經開始吸引語言處理和信息檢索方面的研究人員的注意。文獻［ ２ ８ ］ 利用基于Ｄ Ｂ Ｎ的多任務學習技術來解決機器字譯問題， 這可以推廣到更困難的機器翻譯問題。利用 Ｄ Ｂ Ｎ和深度自動編碼器對文件檢索可以顯示基于單詞特征， 與廣泛應用的語義分析相比具有明顯優勢， 可令文獻檢索更容易， 這一思想已被初步擴展到音頻文件檢索和語音識別類問題［ ２ ９ ］。

4.總結展望

深度學習已成功應用于多種模式分類問題。這一領域雖處于發展初期， 但它的發展無疑會對機器學習和人工智能系統產生影響。同時仍存在某些不適合處理的特定任務， 譬如語言辨識， 生成性預訓練提取的特征僅能描述潛在的語音變化， 不會包含足夠的不同語言間的區分性信息。虹膜識別等每類樣本僅含單個樣本的模式分類問題也是不能很好完成的任務。深度學習目前仍有大量工作需要研究。模型方面是否有其他更為有效且有理論依據的深度模型學習算法。探索新的特征提取模型是值得深入研究的內容。此外有效的可并行訓練算法也是值得研究的一個方向。當前基于最小批處理的隨機梯度優化算法很難在多計算機中進行并行訓練。通常辦法是利用圖形處理單元加速學習過程。然而單個機器 Ｇ Ｐ Ｕ對大規模數據識別或相似任務數據集并不適用。在深度學習應用拓展方面， 如何合理充分利用深度學習在增強傳統學習算法的性能仍是目前各領域的研究重點。

參考文獻略