摘要：沒有過年，年后在年后的年打敗了圍棋高手李世石，這下人工智能引起了全世界的關注。隨后的十多年，人工智能轉入第一次低潮，而也在他生日時，因海事喪生，遺憾未能見到神經(jīng)網(wǎng)絡后期的復興。算力的進步再次加速了人工智能的快速發(fā)展。

小西：小迪小迪，我發(fā)現(xiàn)人工智能發(fā)展史上很多事情都跟下棋有關吶。

小迪：是啊，人工智能發(fā)展史還是要從下棋說起，棋類游戲很多時候都被人類看做高智商游戲，在棋類游戲中讓機器與人類博弈自然再好不過了。早在1769年，匈牙利作家兼發(fā)明家Wolfgang von Kempelen就建造了機器人TheTurk，用于與國際象棋高手博弈，但是最終被揭穿，原來是機器人的箱子里藏著一個人。雖然這是個騙局，但是也體現(xiàn)了棋類游戲是人機博弈中的焦點。

小西：哇，這么早?。?/p>

小迪：是啊，在1968年上映的電影《2001太空漫游》里，有個情節(jié)是機器人HAL與人類Frank下國際象棋，最終人類在機器人面前甘拜下風。

小西：哈哈，看來很早人們就覺得有一天，機器人會在下棋方面超過人類哦。

小迪：是啊，直到1997年，IBM的深藍智能系統(tǒng)戰(zhàn)勝了國際象棋世界冠軍Kasparov，這是一次正式意義上的機器在國際象棋領域戰(zhàn)勝了人類。不過，當時時代雜志發(fā)表的文章還認為，計算機想要在圍棋上戰(zhàn)勝人類，需要再過上一百年甚至更長的時間。因為圍棋相比于國際象棋復雜很多，而IBM的深藍也只是一個暴力求解的系統(tǒng)，當時的計算機能力在圍棋千千萬萬種變化情況下取勝是不可能的。

小西：后來我知道。沒有過100年，20年后AlphaGo在20年后的2016年打敗了圍棋高手李世石，這下人工智能引起了全世界的關注。

小迪：恭喜你，學會搶答了！

小西：哈哈，過獎過獎。除了下棋，人工智能發(fā)展史上有沒有什么特別著名的事件或者有名的大師呢，快給我科普科普呀！

小迪：那可就太多了啊，無數(shù)科學家默默地耕耘才有了今天智能化的社會，三天三夜都說不完。我就說說近些年火爆的深度學習的發(fā)展史吧。

小西：好，洗耳恭聽呢！

1943年Warren McCulloch和Walter Pitts一起提出計算模型，在1957年康奈爾大學的Frank Rosenblatt提出了感知器的概念，這是整個深度學習的開端，感知器是第一個具有自組織自學習能力的數(shù)學模型。Rosenblatt樂觀地預測感知器最終可以學習，做決定和翻譯語言。感知器技術在六十年代非?；馃?，受到了美國海軍的資金支持，希望它以后能夠像人一樣活動，并且有自我意識。

Rosenblatt有一個高中校友叫做Minsky，在60年代，兩人在感知器的問題上吵得不可開交。R認為感知器將無所不能，M覺得感知器存在很大的缺陷，應用有限。1969年，Minsky出版了新書《感知器：計算幾何簡介》，這本書中描述了感知器的兩個重要問題：

單層神經(jīng)網(wǎng)絡不能解決不可線性分割的問題，典型例子：異或門；

當時的電腦完全沒有能力承受神經(jīng)網(wǎng)絡的超大規(guī)模計算。

隨后的十多年，人工智能轉入第一次低潮，而Rosenblatt也在他43生日時，因海事喪生，遺憾未能見到神經(jīng)網(wǎng)絡后期的復興。

1970年，此時的神經(jīng)網(wǎng)絡正處于第一次低潮期，愛丁堡大學的心理學學士Geoffrey Hinton剛剛畢業(yè)。他一直對腦科學非常著迷，同學告訴他，大腦對事物和概念的記憶，不是存儲在某個單一的地方，而是分布式的存在一個巨大的神經(jīng)網(wǎng)絡中。分布式表征讓Hinton感悟很多，隨后的多年里他一直從事神經(jīng)網(wǎng)絡方面的研究，在愛丁堡繼續(xù)攻讀博士學位的他把人工智能作為自己的研究領域。

傳統(tǒng)的神經(jīng)網(wǎng)絡擁有巨大的計算量，上世紀的計算機計算能力尚未能滿足神經(jīng)網(wǎng)絡的訓練。1986年7月，Hinton和David Rumelhart合作在Nature雜志上發(fā)表論文系統(tǒng)地闡述了BP算法：

反向傳播算法（BP）把糾錯運算量下降到只和神經(jīng)元數(shù)目有關；

BP算法在神經(jīng)網(wǎng)絡中加入隱層，能夠解決非線性問題。

BP算法的效率相比傳統(tǒng)神經(jīng)網(wǎng)絡大大提高，計算機的算力在上世紀后期也大幅提高，神經(jīng)網(wǎng)絡開始復蘇，引領人工智能走向第二次輝煌。

1960年Yann Lecun在巴黎出身，在法國獲得博士學位后，追隨Hinton做了一年博士后，隨后加入貝爾實驗室。在1989年，Lecun發(fā)表論文提出卷積神經(jīng)網(wǎng)絡，并且結合反向傳播算法應用在手寫郵政編碼上，取得了非常好的效果，識別率高達95%。基于這項技術的支票識別系統(tǒng)在90年代占據(jù)了美國接近20%的市場。

但也是在貝爾實驗室，Yann Lecun的同事Vladmir Vapnik的研究又把神經(jīng)網(wǎng)絡的研究帶入了第二個寒冬。

2003年，Geoffrey Hinton在多倫多大學苦苦鉆研著神經(jīng)網(wǎng)絡。在與加拿大先進研究院（CIFAR）的負責人Melvin Silverman交談后，負責人決定支持Hinton團隊十年來進行神經(jīng)網(wǎng)絡的研究。在拿到資助后，Hinton做的第一件事就是把神經(jīng)網(wǎng)絡改名為深度學習。此后的一段時間里，同事經(jīng)常會聽到Hinton在辦公室大叫：“我知道神經(jīng)網(wǎng)絡是如何工作的了！”

2006年Hinton與合作者發(fā)表論文——《A Fast Algorithm for Deep BeliefNet》（DBN）。這篇文章中的算法借用了統(tǒng)計力學中“波爾茲曼分布”的概念，使用了所謂的“受限玻爾茲曼機”，也就是RBN來學習。而DBN也就是幾層RBN疊加在一起。RBN可以從輸入數(shù)據(jù)進行預訓練，自己發(fā)現(xiàn)重要的特征，對神經(jīng)網(wǎng)絡的權重進行有效的初始化。這里就出現(xiàn)了另外兩個技術——特征提取器與自動編碼器。經(jīng)過MNIST數(shù)據(jù)集的訓練后，識別錯誤率最低降到了只有1.25%。

2007年，英偉達推出cuda的GPU軟件接口，GPU編程得以極大發(fā)展。2009年6月，斯坦福大學的Rajat Raina和吳恩達合作發(fā)表文章，論文采用DBNs模型和稀疏編碼，模型參數(shù)高達一億，使用GPU運行速度訓練模型，相比傳統(tǒng)雙核CPU最快時相差70倍，把本來需要幾周訓練的時間降到了一天。算力的進步再次加速了人工智能的快速發(fā)展。

黃仁勛也是一名華人，1963年出生于臺灣，在1993年于斯坦福畢業(yè)后創(chuàng)立了英偉達公司，英偉達起家時主要做圖像處理芯片，后來黃仁勛發(fā)明GPU這個詞。相比于CPU架構，GPU善于大批量數(shù)據(jù)并行處理。而神經(jīng)網(wǎng)絡的計算工作，本質上就是大量的矩陣計算的操作，GPU的發(fā)展為深度學習奠定了算力的基礎。

深度學習的三大基礎——算法，算力和數(shù)據(jù)。上面提到的主要是算法與算力的發(fā)展，而數(shù)據(jù)集在深度學習發(fā)展也起到了至關重要的作用。又是一位華人學者——李飛飛，于2009年建立ImageNet數(shù)據(jù)集，以供計算機視覺工作者使用，數(shù)據(jù)集建立的時候，包含320個圖像。2010年，ILSVRC2010第一次舉辦，這是以ImageNet為基礎的大型圖像識別大賽，比賽也推動了圖像識別技術的飛速發(fā)展。2012年的比賽，神經(jīng)網(wǎng)絡第一次在圖像識別領域擊敗其他技術，人工智能步入深度學習時代，這也是一個歷史性的轉折點。

2011年，加拿大學者Xavier Glorot與Yoshua Bengio聯(lián)合發(fā)表文章，在算法中提出一種激活函數(shù)——RELU，也被稱為修正線性單元，不僅識別錯誤率普遍降低，而且其有效性對于神經(jīng)網(wǎng)絡是否預訓練過并不敏感。而且在計算力方面得到提升，也不存在傳統(tǒng)激活函數(shù)的梯度消失問題。

其實早在1997年，瑞士Lugano大學的Suhmidhuber和他的學生合作，提出了長短期記憶模型（LSTM）。LSTM背后要解決的問題就是如何將有效的信息，在多層循環(huán)神經(jīng)網(wǎng)絡傳遞之后，仍能傳送到需要的地方去。LSTM模塊，是通過內在參數(shù)的設定，決定某個輸入?yún)?shù)在很久之后是否還值得記住，何時取出使用，何時廢棄不用。

小迪：其實還有好多有突出貢獻的的大師，要是都列出來可以出一本很厚很厚的書啦！

小西：這些大師都好厲害呀，為了我們的智能化生活體驗，辛勤付出了一輩子。

小迪：是啊，還有很多學者默默無聞地工作，一生清苦。

小西：他們都好偉大，有突出貢獻的都應該發(fā)獎發(fā)獎金，對對對，諾貝爾獎！

小迪：哈哈。諾貝爾獎多數(shù)是為基礎學科設立的。不過計算機界也有“諾貝爾獎”——圖靈獎，這可是計算機界最高獎項哦！2019年3月27日，ACM宣布，Geoffrey Hinton，Yann LeCun ，和Yoshua Bengio共同獲得了2018年的圖靈獎。

小西：太棒了，實至名歸！

小迪：當然，圖靈獎在此之前也授予了很多在人工智能領域的大牛，像Minsky，John McCarthy這些，還有華人科學家，現(xiàn)在在清華大學任職從事人工智能教育的姚期智先生在2000也獲得過圖靈獎呢！

小西：大師們太不容易了，我們也要好好學習呀！

小迪：是呀！如今我們站在巨人的肩膀上，許多人都可以接觸到深度學習，機器學習的內容，不管是工業(yè)界還是學術界，人工智能都是一片火熱！

小西：希望這一輪人工智能的興起不會有低潮，一直蓬勃發(fā)展下去，更好地造福人類。

小迪：嗯！