資訊專欄INFORMATION COLUMN
摘要：然而反向傳播自誕生起，也受到了無數質疑。主要是因為，反向傳播機制實在是不像大腦。他集結了來自和多倫多大學的強大力量，對這些替代品進行了一次評估。號選手，目標差傳播，。其中來自多倫多大學和，一作和來自，來自多倫多大學。
32年前，人工智能、機器學習界的泰斗Hinton提出反向傳播理念，如今反向傳播已經成為推動深度學習爆發的核心技術。
然而反向傳播自誕生起，也受到了無數質疑。這些質疑來自各路科學家，也來自Hinton自己。
主要是因為，反向傳播機制實在是不像大腦。
去年九月，Hinton站在眾人面前，親口說出他對反向傳播“深感懷疑”，并且振臂一呼的號召：“我的觀點是把它全部拋掉，重頭再來。”
他不止這么說，也在親自踐行。
這些年來，科學家們也為反向傳播尋找了不少“生物學上更合理”、也就是更像大腦工作機制的替代品。但這些是通往未來的道路么？
Hinton決定親自嘗試一下。他集結了來自DeepMind和多倫多大學的強大力量，對這些替代品進行了一次評估。結論是：
在比較復雜的分類任務 (如ImageNet) 里，那些更像大腦機制的算法，都遠不及反向傳播。
對比測試
在Hinton參與的新論文Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures里，反向傳播的挑戰者包括：
1號選手，目標傳播 (Target-Propagation，TP) 。
2號選手，反饋對比 (Feedback Alignment，FA) 。
3號選手，目標差傳播 (Difference Target Propagation，DTP) 。
三位選手，還各自擁有幾種變體。
加上守擂方反向傳播，四者挑戰的有MNIST、CIFAR以及最難的ImageNet這幾個分類數據集。
誰的學習能力，能更好地推廣到復雜的數據集里，就代表它更有潛力，去解釋大腦的運作。
先來看MNIST和CIFAR兩項比賽的成績。
下劃線加粗為較佳
無論是在全連接 (Fully-Connected) 還是局部連接 (Locally-Connected) 的神經網絡中，反向傳播的表現都是較好的。
除此之外，用BP訓練的CNN，擁有共享權重 (Shared Weights) ，也能有效提升模型的表現。
這一點值得注意，是因為CNN在生物學意義上，有一個“不太可取”的特性，就是權重共享。
因為，每個神經元的權值，都需要非常較精確地傳遞開來，這個操作在自然界里太不現實。
不過，數據證明，權重共享并不是“不可取”。它的存在，大大減少了自由參數，讓模型的學習能力更容易向復雜任務中推廣。于是，BP ConvNet擊敗了親近自然的方法，和它們更加自然的變體。
說到更加復雜的任務，下一個比賽場地，就是ImageNet數據集了。
遺憾的是，在ImageNet這座大山面前，所有的方法成績都不理想。
但在所有的不理想中間，反向傳播的表現依然優于其他選手，且以卷積網絡的版本為最優。
也就是說，即便無法像人類一樣輕取復雜問題，反向傳播依然離這個目標更近，加上共享權重就更近。
研究團隊在論文中說，如果想從生物學上，找到學習效果更好的算法，反向傳播的挑戰者們還有很長的路要走。
不論是現有的“生物學合理”的算法，還是大家要找的新方法。
是啊，路還長，這次的比賽成績也只是階段性結果。
未來，翹首以待。
論文
為了完成這個研究，來自多家著名機構的學者，組成了一個特混戰隊。
其中Hinton來自多倫多大學和Google Brain，Sergey Bartunov（一作）和Adam Santoro來自DeepMind，Blake A. Richards來自多倫多大學。Timothy P. Lillicrap來自DeepMind和UCL。
外界對這篇論文也有一些很強烈的贊譽之聲。
譬如，有人說這是一個偉大的研究，隨著時間的推移，這些討論會變得越來越有意思；也有人說被這個研究驚到了。
當然，也有人持保留意見。
不知道你會怎么認為，去讀Paper吧。
這篇評估了反向傳播各路替代品的論文是：
Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures
作者：Sergey Bartunov, Adam Santoro, Blake A. Richards, Geoffrey E. Hinton, Timothy Lillicrap
最近這篇論文也發到了arXiv上，大家有空可以看一看。
傳送門：
https://arxiv.org/pdf/1807.04587.pdf
特立獨行
Hinton從來都不是一個跟隨主流的人。他聲名煊赫的整個家族都彌漫著這樣的一種氣質。
1972年，25歲的Hinton在愛丁堡大學攻讀博士學位，并把神經網絡作為研究重點。導師幾乎每周都會提醒他在浪費時間。然而Hinton不為所動。
實際上幾十年來，Hinton一直徘徊在人工智能研究的邊緣地帶。他像一個局外人一樣堅守著一個簡單的觀點：計算機可以像人類一樣思考，依靠直覺而不是規則。
一直到大約2009年前后，神經網絡才又引發更多人的關注。談到那些灰暗的日子，Hinton給出了這樣的回答：
“是什么支持著你不放棄？”
“其他人都錯了。”
“我們本來在體制之外，力圖證明傳統路線是錯的，然而有趣的是，轉眼間我們成了正統。”Hinton的學生、OpenAI創始人Ilya Sutskever說。
作為機器學習的先鋒，Hinton從中開辟了“深度學習”這個子領域，這讓計算機可以自動建立起一層層的智慧。
得益于近年來計算力的猛增，深度學習成為主流方法，從我們智能手機里的語音識別、圖像探測到亞馬遜為你推薦的圖書，都離不開它。
因為患有腰間盤突出，坐下變成一種痛苦，從2005年開始，Hinton就不再坐著了，工作時就一直站著。而現在站立工作，似乎也是一種風潮。
“我領先于潮流，”Hinton說。
聲明：文章收集于網絡，如有侵權，請聯系小編及時處理，謝謝！
歡迎加入本站公開興趣群商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識
QQ群：81035754
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/4786.html
摘要：近幾年以卷積神經網絡有什么問題為主題做了多場報道，提出了他的計劃。最初提出就成為了人工智能火熱的研究方向。展現了和玻爾茲曼分布間驚人的聯系其在論文中多次稱，其背后的內涵引人遐想。 Hinton 以深度學習之父 和 神經網絡先驅 聞名于世，其對深度學習及神經網絡的諸多核心算法和結構（包括深度學習這個名稱本身，反向傳播算法，受限玻爾茲曼機，深度置信網絡，對比散度算法，ReLU激活單元，Dropo...
摘要：本文試圖揭開讓人迷惘的云霧，領悟背后的原理和魅力，品嘗這一頓盛宴。當然，激活函數本身很簡單，比如一個激活的全連接層，用寫起來就是可是，如果我想用的反函數來激活呢也就是說，你得給我解出，然后再用它來做激活函數。 由深度學習先驅 Hinton 開源的 Capsule 論文 Dynamic Routing Between Capsules，無疑是去年深度學習界最熱點的消息之一。得益于各種媒體的各種...
摘要：在最近的一次人工智能會議上，表示自己對于反向傳播非常懷疑，并提出應該拋棄它并重新開始。在人工智能多年的發展過程中，反向傳播已經成為了深度學習不可或缺的一部分。最后，我們會將這些規則組合成可用于任意神經網絡的反向傳播算法。 現在的深度學習發展似乎已經陷入了大型化、深度化的怪圈，我們設計的模型容易被對抗樣本欺騙，同時又需要大量的訓練數據——在無監督學習上我們取得的突破還很少。作為反向傳播這一深度...
摘要：有幾次，人工智能死在人工神經網絡上。在過去十年中，他一直在舉辦為期一周的有關神經網絡的暑期學校，我曾經拜訪過。神經網絡壓縮信息之后，這些信息無法復原。 魔法已經進入這個世界。如今，許多美國人口袋里裝著薄薄的黑色平板，這些機器接入遙遠的數字云和衛星，它們解碼語言、通過攝像頭觀察并標記現實，挖掘個人數據，它們以某種方式理解、預測著我們的心愿。傾聽、幫助著人類。因為與多倫多大學有個約會，這個夏天，...
摘要：在最近的一次大會上，表示，他對反向傳播深表懷疑，并認為我的觀點是將它完全摒棄，然后重新開始。相對于對象函數計算反向傳播。通常，目標函數是預測分布與實際分布之間差異的量度。所以也許無監督的學習不需要目標函數，但是它仍然可能需要反向傳播。 Geoffrey Hinton終于公開闡述了他對那些早已令許多人惶恐不安的事物的看法。在最近的一次AI大會上，Hinton表示，他對反向傳播深表懷疑，并認為：...
閱讀 819·2021-11-22 15:25
閱讀 1419·2021-09-08 09:45
閱讀 1703·2021-09-02 09:46
閱讀 1308·2019-08-30 15:56
閱讀 1540·2019-08-29 15:14
閱讀 1166·2019-08-29 13:06
閱讀 2019·2019-08-29 12:34
閱讀 1408·2019-08-26 12:14
