摘要：取得博士學(xué)位后，他加入的團(tuán)隊(duì)，在多倫多大學(xué)攻讀博士后，在年跟和合著了提出深度信念網(wǎng)絡(luò)的論文。只有充分了解，才能做出強(qiáng)有力的戰(zhàn)略決策。這帶來的一個(gè)重大問題是，個(gè)人隱私數(shù)據(jù)被其他人控制。機(jī)器學(xué)習(xí)是數(shù)據(jù)驅(qū)動(dòng)的，與統(tǒng)計(jì)數(shù)據(jù)緊密相關(guān)。

昨天，谷歌 DeepMind 聯(lián)合創(chuàng)始人 Demis Hassabis 發(fā)布了這樣一條消息：

“很高興 Yee Whye Teh 和 Simon Osindero 加入團(tuán)隊(duì)，他們兩人在 2006 年與 Hinton 合著論文，引發(fā)了深度學(xué)習(xí)革命！”

Yee Whye Teh 和 Simon Osindero 是誰，他們跟 Hinton 一起引發(fā)了什么革命呢？

2006 年那篇論文，題目叫做 “A fast learning algorithm for deep belief nets”，《深度信念網(wǎng)絡(luò)的一種快速學(xué)習(xí)算法》，刊于 Neural Computation，目前被引用了 4000 多次。

這篇文章解決了什么問題呢？我們知道，在一定程度內(nèi)，中間隱藏層越多，網(wǎng)絡(luò)能解決的問題就越復(fù)雜。然而，沒有人知道怎么訓(xùn)練多層的神經(jīng)網(wǎng)絡(luò)（也即深度神經(jīng)網(wǎng)絡(luò)），因此深度神經(jīng)網(wǎng)絡(luò)一直無人問津。

直到 Hinton、Teh 和 Osindero 2006 年發(fā)表上述論文，提出了一個(gè)訓(xùn)練深度網(wǎng)絡(luò)的方法——對(duì)每一層網(wǎng)絡(luò)都進(jìn)行預(yù)訓(xùn)練，然后再微調(diào)，這樣學(xué)習(xí)速度就會(huì)大幅提高——終于初步解決了這一長期困擾人們的問題。

是那篇文章讓人們開始注意深度網(wǎng)絡(luò)，進(jìn)而注意到深度學(xué)習(xí)，開啟了新的時(shí)代，所以 Hassabis 將其稱為“革命”。

雅虎人工智能架構(gòu)師 Simon Osindero

再來看 Yee Whye Teh 和 Simon Osindero 這兩個(gè)人。他們都是 Hinton 的學(xué)生，而且是同學(xué)，博士畢業(yè)后，Yee Whye Teh 選擇留在學(xué)界繼續(xù)做研究，而 Simon Osindero 則走入產(chǎn)業(yè)。

Simon Osindero 的路線大致是：就業(yè)→創(chuàng)業(yè)→被收購→加入大企業(yè)，進(jìn)入企業(yè)研究機(jī)構(gòu)→ 谷歌DeepMind?

Simon Osindero 擁有劍橋大學(xué)的實(shí)驗(yàn)物理和理論物理碩士學(xué)位。在劍橋大學(xué)的最后一年，Osindero 聽了 David Mackay 的信息理論課后，燃起了對(duì)貝葉斯統(tǒng)計(jì)學(xué)、編碼理論、機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的興趣，之后攻讀倫敦大學(xué)學(xué)院的神經(jīng)科學(xué)博士學(xué)位。當(dāng)時(shí)的導(dǎo)師是 Geoff Hinton，之后還得到 Peter Dayan 的指導(dǎo)。Osindero 博士生期間的工作主要集中于探索無監(jiān)督學(xué)習(xí)方法之間的聯(lián)系，神經(jīng)表征的發(fā)展和結(jié)構(gòu)，尤其是與感知信息處理相關(guān)的大腦部分的結(jié)構(gòu)。

取得博士學(xué)位后，他加入 Geoff Hinton 的團(tuán)隊(duì)，在多倫多大學(xué)攻讀博士后，在2005/2006年跟 Hinton 和 Yee Whye Teh 合著了提出深度信念網(wǎng)絡(luò)的論文。該項(xiàng)研究與 Yann LeCun、Yoshua Bengio以及加拿大NCAP項(xiàng)目的其他成員的研究一起，引起了大家對(duì)現(xiàn)在的深度學(xué)習(xí)的興趣。

?

在多倫多大學(xué)完成學(xué)業(yè)后，Simon Osindero 進(jìn)入蒙特利爾的初創(chuàng)企業(yè) Idilia 工作，為自然語言處理設(shè)計(jì)機(jī)器學(xué)習(xí)算法，在此期間發(fā)展了NLP和計(jì)算語言學(xué)方面的能力。之后，他在2009年與人共同創(chuàng)辦了 LookFlow——一家將機(jī)器學(xué)習(xí)和人機(jī)交互領(lǐng)域的前沿研究轉(zhuǎn)化為產(chǎn)品的公司。

根據(jù) LinkedIn 資料，在公司被雅虎于 2013 年收購之后，他就加入了雅虎，擔(dān)任雅虎的AI架構(gòu)師，負(fù)責(zé)雅虎旗下圖片分享網(wǎng)站 Flickr 的計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)研發(fā)。2016 年 2 月加入谷歌 DeepMind。

Osindero 從計(jì)算機(jī)科學(xué)和神經(jīng)科學(xué)的交互中得到很大啟發(fā)。他相信，如果要發(fā)展理論神經(jīng)生物學(xué)學(xué)科，機(jī)器學(xué)習(xí)和信息理論的許多概念是至關(guān)重要的。同時(shí)，生物學(xué)中的見解能幫助我們?cè)O(shè)計(jì)出更好的AI系統(tǒng)。這與谷歌 DeepMind 的主張非常吻合。

不僅如此，Osindero 的長遠(yuǎn)目標(biāo)也與谷歌 DeepMind 聯(lián)合創(chuàng)始人 Demis Hassabis 差不多。2015 年 5 月，Osindero 參加 Re-Work 大會(huì)接受采訪時(shí)表示，從長遠(yuǎn)來看，他有兩個(gè)比較大的個(gè)人研究目標(biāo)：（1）促進(jìn)機(jī)器智能在更廣闊的領(lǐng)域發(fā)展，努力創(chuàng)造出達(dá)到人類水平的AI；（2）理解大腦如何工作。

Osindero 對(duì)于研發(fā)動(dòng)力有十分明確的認(rèn)知，在雅虎大部分的研發(fā)工作是由產(chǎn)品驅(qū)動(dòng)的，Osindero 他們與產(chǎn)品經(jīng)理和其他工程團(tuán)隊(duì)密切合作，確定短期內(nèi)能在哪個(gè)方向發(fā)揮較大影響。“我認(rèn)為理解經(jīng)營策略、優(yōu)先客戶體驗(yàn)、目前和短期內(nèi)的技術(shù)能力是很重要的。只有充分了解，才能做出強(qiáng)有力的戰(zhàn)略決策。”

Osindero 在去年 5 月接受采訪時(shí)，介紹了他認(rèn)為最有前景的研究方向：

?

在深度學(xué)習(xí)模型上，將重點(diǎn)從有監(jiān)督深度學(xué)習(xí)轉(zhuǎn)移到半監(jiān)督、無監(jiān)督深度學(xué)習(xí)和增強(qiáng)學(xué)習(xí)；

設(shè)計(jì)學(xué)習(xí)課程，借鑒發(fā)育生物學(xué)；

使用“注意力代理（attentional agent）”或其他積極的感知機(jī)制 ——能有效讓模型確定該分析哪些輸入（以及以何種方式）——這可以從我們最近提高處理序列模式和遞歸神經(jīng)網(wǎng)絡(luò)的能力中獲益；

建立能使用、整合不同類型的記憶和 state-persistence（例如短期的，長期的，內(nèi)存堆棧和聯(lián)想記憶庫）的模型；

通過基于分布式表征的某種推理引擎來綜合事實(shí)性和關(guān)系性知識(shí)庫。

我也很高興看到機(jī)器學(xué)習(xí)領(lǐng)域有越來越多的合作并且更加開放。我認(rèn)為這對(duì)于整個(gè)研究領(lǐng)域都是非常重要的。

牛津大學(xué)機(jī)器學(xué)習(xí)教授 Yee Whye Teh

Yee Whye Teh 的中文名字是鄭懷宇，他加入谷歌 DeepMind 前是牛津大學(xué)的統(tǒng)計(jì)機(jī)器學(xué)習(xí)教授。

Yee Whye Teh 的路線：博士后→講師→教授→谷歌 DeepMind?

獲得多倫多大學(xué)的博士學(xué)位，鄭懷宇在美國加州大學(xué)伯克利分校和新加坡國立大學(xué)從事博士后工作，研究方向是機(jī)器學(xué)習(xí)和計(jì)算統(tǒng)計(jì)學(xué)，特別是圖形模型、貝葉斯非參數(shù)和表征學(xué)習(xí)。他還多次擔(dān)任NIPS、ICML和AISTATS的領(lǐng)域主席（area chair）。

從個(gè)人網(wǎng)站上可以看見，鄭懷宇的學(xué)生、合作者里都有在谷歌 DeepMind 工作的人。因此，這個(gè)團(tuán)隊(duì)對(duì)他來說并不陌生。實(shí)際上，鄭懷宇應(yīng)該對(duì)谷歌 DeepMind 相當(dāng)熟悉。在 DeepMind 醫(yī)療數(shù)據(jù)風(fēng)波時(shí)，鄭懷宇在 Google+ 發(fā)表文章：

“DeepMind在皇家自由醫(yī)院（Royal Free Hospital）臨床醫(yī)生的要求下，成立一個(gè)健康部門。一組臨床醫(yī)生認(rèn)為可以讓DeepMind訪問160萬份醫(yī)療記錄，而不用咨詢患者。這筆交易的規(guī)模只在《New Scientist》上的一篇文章中得到說明。我認(rèn)識(shí)在DeepMind的同事，我會(huì)宣稱他們?cè)趦煞矫鏌o罪。我不相信他們已經(jīng)接近人類智能的運(yùn)行機(jī)制（盡管DeepMind在這一領(lǐng)域是世界領(lǐng)先的實(shí)驗(yàn)室，取得一些輝煌成就）。他們是懷著較大的善意進(jìn)入健康領(lǐng)域的。但是在現(xiàn)實(shí)世界中，最善意的意圖往往是不夠的。這帶來的一個(gè)重大問題是，個(gè)人隱私數(shù)據(jù)被其他人控制。盡管這種問題經(jīng)常出現(xiàn)在媒體上，一個(gè)公司和一群醫(yī)生卻會(huì)忽視這些問題。”

說到牛津大學(xué)，就想到他們前不久和谷歌 DeepMind 一起寫了論文，探討如何預(yù)防 AI 失控。關(guān)于這一點(diǎn)，鄭懷宇的看法是，雖然 AlphaGo已經(jīng)很了不起，但距離人類智能還差得遠(yuǎn)。“我們最近在機(jī)器學(xué)習(xí)上取得的進(jìn)展，還沒有什么能影響我們?cè)谌鄙贁?shù)據(jù)而又復(fù)雜的系統(tǒng)中建立模型、作出預(yù)測(cè)的能力。對(duì)于氣候變化上，我們只能獲得地球這一個(gè)星球的數(shù)據(jù)，這意味著數(shù)據(jù)特別少。”

2015 年底，鄭懷宇參加了紐約舉行的會(huì)議“人工智能的未來”，之后他總結(jié)認(rèn)為，這樣的活動(dòng)對(duì)于擴(kuò)展辯論、實(shí)現(xiàn)共同目標(biāo)至關(guān)重要，然而，當(dāng)活動(dòng)沒有將某些特定的方面包含在內(nèi)時(shí)，就會(huì)有問題。

“關(guān)于AI的辯論有一個(gè)特別的方面，那就是他們認(rèn)為AI存在某種神秘的特性。尤其是，我們似乎都認(rèn)為自己以及我們的智能是很特別的，神圣的，甚至是機(jī)器里的靈魂。但是，這種自我崇拜，使我們對(duì)于讓機(jī)器模擬那些我們認(rèn)為是人類獨(dú)有的特性而產(chǎn)生恐懼。

“近期在AI取得的進(jìn)步都是建立在機(jī)器學(xué)習(xí)的基礎(chǔ)上。機(jī)器學(xué)習(xí)是數(shù)據(jù)驅(qū)動(dòng)的，與統(tǒng)計(jì)數(shù)據(jù)緊密相關(guān)。這意味：統(tǒng)計(jì)學(xué)在一端，人工智能在另一端，機(jī)器學(xué)習(xí)位于兩者之間，而三者之間順暢相連。AI最近的發(fā)展完全由數(shù)據(jù)支撐，但是數(shù)據(jù)幾乎從來沒有在大會(huì)上被提及。

“我認(rèn)為這是一種危險(xiǎn)（而且相當(dāng)普遍）的趨勢(shì)，將把我們對(duì)AI的討論與對(duì)數(shù)據(jù)的討論分離開來。機(jī)器學(xué)習(xí)不只是基于AI進(jìn)展上的原理技術(shù)，它與與統(tǒng)計(jì)學(xué)一樣，是推動(dòng)數(shù)據(jù)科學(xué)發(fā)展的原理技術(shù)。這一點(diǎn)特別有趣，因?yàn)榧~約大學(xué)會(huì)議是由紐約大學(xué)數(shù)據(jù)科學(xué)中心主持的，所以與會(huì)者并不是沒有意識(shí)到這一點(diǎn)（該會(huì)議的主要召集人之一Yann Le Cun就特別清楚這一點(diǎn)）。”

2016 年 1月，鄭懷宇在 Google+ 寫了文章《特洛伊戰(zhàn)爭(zhēng)和機(jī)器學(xué)習(xí)》，這是他對(duì)人工智能和機(jī)器學(xué)習(xí)未來思索的第 3 篇文章（目前系列有 5 篇），這個(gè)可能更能展現(xiàn)他的特色。在文中，鄭懷宇把硅谷投資人比作自顧自的希臘眾神，把人工智能比作海倫。其他的角色：

經(jīng)典AI：特洛伊城市民，由赫克托爾率領(lǐng)，海倫本應(yīng)屬于他們

深度學(xué)習(xí)：特洛伊木馬。特洛伊人傻傻將木馬當(dāng)做經(jīng)久耐用的象征迎進(jìn)了城。而實(shí)際上希臘人跑出來把人都?xì)⒘藗€(gè)光

符號(hào)邏輯：帕里斯，外表好看，還沒實(shí)際見過面就得到了海倫，戰(zhàn)斗力不強(qiáng)，但有時(shí)候運(yùn)氣很好，一對(duì)一拼不過墨涅拉俄斯，死于菲羅克忒忒斯的弓下

谷歌：海倫的丈夫墨涅拉俄斯。他與海倫的婚姻是眾人關(guān)注的焦點(diǎn)。墨涅拉俄斯不知道海倫被阿芙洛狄忒許給了帕里斯，代價(jià)是一個(gè)蘋果

微軟：備受推崇的阿伽門農(nóng)，有些過時(shí)，但仍然有許多珍貴的品質(zhì)。家族歷史讓他與眾神的關(guān)系有些復(fù)雜

Facebook：奧德修斯。戰(zhàn)斗一開始躲了起來，但他意識(shí)到戰(zhàn)斗的必然性后，就積極投入戰(zhàn)斗。他根本不在乎海倫，愛著妻子佩內(nèi)洛普，后話還有很多

蘋果：阿基里斯，漂亮，硬件很強(qiáng)，很受眾神喜愛。戰(zhàn)斗時(shí)大部分時(shí)間都在帳篷里哭（因?yàn)楦①らT農(nóng)關(guān)系不好），但若受了刺激，還是會(huì)努力掙表現(xiàn)的

亞馬遜：菲羅克忒忒斯，最早被排除在外，但尾盤時(shí)每個(gè)人都意識(shí)到，他才是掌握殺死帕瑞斯關(guān)鍵硬件的人

“深度學(xué)習(xí)陰謀論”：卡桑德拉。卡桑德拉說了實(shí)話，但人們注定無法相信她。在我們的故事里，為了把情節(jié)弄刺激些，不妨假設(shè)卡桑德拉后來說對(duì)了一件事，自此以后她說什么人們都信

OpenAI：涅俄普托勒摩斯。在最后出現(xiàn)，很年輕，頂多十幾歲。因?yàn)樽訉O后代他受眾神青睞。取決于你聽到的故事，他要么殘忍要么親切

百度：埃涅阿斯，希臘的自由民主是很好，但還是比不過地中海整齊有序的帝國。在特洛伊戰(zhàn)爭(zhēng)中表現(xiàn)并不是最出彩，最后發(fā)現(xiàn)了羅馬城

IBM：海格力斯，確實(shí)在過去做過一些很好的工作，特洛伊戰(zhàn)爭(zhēng)的所有參與方也都很尊敬他，可是他人并不在特洛伊戰(zhàn)場(chǎng)。給故事加點(diǎn)料，他會(huì)再次活躍，與阿伽門農(nóng)一起，給奧德修斯一些建議

希臘社會(huì)：特洛伊戰(zhàn)爭(zhēng)再精彩，也只是發(fā)生在一小部分人之間。如今我們看重的民主、科學(xué)和數(shù)學(xué)，在希臘英雄故事里幾乎看不見。戰(zhàn)爭(zhēng)在特洛伊火領(lǐng)熱打響的時(shí)候，剩下那么多希臘人在干什么呢？這不禁讓人想，真正重要的，是否是剩下的人在做什么。或許希臘社會(huì)代表著機(jī)器學(xué)習(xí)及相關(guān)行業(yè)的從業(yè)者，他們向前推進(jìn)，是因?yàn)橛忻鞔_的目標(biāo)和實(shí)際的利益，就像我們以前那樣，直到我們被海倫奪去了目光

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754