資訊專欄INFORMATION COLUMN
摘要：大數據與深度學習是一種蠻力盡管當場說了很多觀點，但是最核心的還是援引了愛因斯坦關于上帝的隱喻。大數據與深度學習是一種蠻力在算法和模型上，我們是否能發明所有東西認為，在機器學習的算法和模型上，我們并不能發明所有東西。
Facebook去年底挖來了一個機器學習大神Vladimir Vapnik，他是統計學習理論和支持向量機的主要發明者。Vladimir Vapnik被稱為統計學習理論之父，他出生于俄羅斯，1990年底移居美國，在美國貝爾實驗室一直工作到2002年，之后加入了普林斯頓的NEC實驗室機器學習研究組，同時任哥倫比亞大學特聘教授。2014年，Vladimir Vapnik加入Facebook人工智能實驗室。
Vladimir Vapnik
近日，Vladimir在俄羅斯較大的搜索引擎公司Yandex的大會上發表了講話，重點討論了深度學習是否以蠻力取勝。來自加利福尼亞大學圣地亞哥分校的Zachary Chase Lipton博士詳細記錄了會議內容，并整理成了文章：
上周，我來到柏林參加機器學習展望和應用大會。這個大會由Yandex舉辦，主要談了Deep Learning和Intelligent Learning兩個問題，它們經常作為對比的概念出現。
雖然我自己也是演講者之一，但是整個會議的高潮部分，還是關于深度學習的方法論，其中經驗主義和數學推理中的矛盾部分。
第一條是關于深度學習，討論的是背后的數學支撐，以及未來的方向。問題包括了模型的可解釋性和醫療領域的應用。到了周三晚上，Vladimir Vapnik也參與了討論，說的是知識如何在不同的個體之間傳遞。Vladimir的哲學觀橫跨了機器學習、數學和智能的源頭，并且挑戰了深度學習的方法論，這很有爭議。
其實在今年夏天，我就寫文章說機器學習的成功是大數據時代經驗主義的勝利。在里面我強調說，過度去擬合數據，雖然能在真實數據中得到檢驗，但里面會有很大風險，至少比基于數學推理建立的系統風險大得多。在這次會議中，我聽到了Vladimir在這方面的觀點。
為了避免混淆視聽，我得強調：我是一個深度學習的實踐者。我個人并不否認深度學習，而且對它的先行者和火炬手充滿尊敬。但我也同樣相信，我們應該對深度學習的可能性抱有開放性的態度：
即會有一些數學模型，能夠更好的指明未來發展方向，開啟新的方法論。
很顯然，當我們去咀嚼和消化這些觀點的時候，能夠得到很大的價值。
大數據與深度學習是一種蠻力？
盡管Vapnik當場說了很多觀點，但是最核心的還是援引了愛因斯坦關于上帝的隱喻。簡單的說，Vapnik假設了一個理論：想法和直覺要么來自上帝，要么出自魔鬼。而區別在于，上帝是智慧的，而魔鬼往往不是。
在作為數學家和機器學習研究和踐行者的生涯中，Vapnik得出了一個結論：魔鬼往往來自于蠻力（Brute Force）。進一步說，如果承認深度學習系統在解決問題時不可思議的表現，那么大數據和深度學習，都有某種蠻力的味道。
不過，我自己并不同意深度學習必須等同于機器蠻力。我們如今也能看到對于大數據的觀點爭論，其中Vapnik和Nathan Intrator教授就說：小孩不需要幾億的標簽樣本以完成學習。雖然有大量帶有標簽的數據時，學習會成為一件比較容易的事，但如果依賴這樣的方法，我們就錯失了自然界中關于學習的基本原理。
也許，真正的學習只需要數百樣本，而我們現在卻只有非常大的數據量才能完成學習。如果我們不去探尋學習的本質，那就是在屈從于懶惰。
我們現在的深度學習并非科學。確切的說，機器學習和核心任務是理解計算本身，而現在的方法和它有所背離。這就好比任務是制造小提琴，而我們扮演的角色不過是小提琴演奏者，雖然也能創作美妙的音樂，也有演奏的直覺，但我們并不知道小提琴如何創造出音樂。
進一步說，很多深度學習實踐者，他們對數據和工程有很好的感覺，但其實不知道這里頭是怎么回事。所以在目前的深度學習方法中，參數的調節方法依然是一門“藝術”，而非“工藝”。
在算法和模型上，我們是否能發明所有東西？
Vapnik認為，在機器學習的算法和模型上，我們并不能發明所有東西。他堅持說，他自己并沒有如此的聰明才智，以完成這些算法模型的發明。（這似乎也在暗示，其他人也沒有那么聰明，去發明這些玩意）
按照Vapnik的意思，我們在機器學習上發明的東西是微不足道的。真正重要的東西，來自于我們對數學本質的理解。就深度學習來說，模型經常被發明出來、品牌化并申請專利，但這些相比于真正由數學驅動的機器學習，就顯得很一般了。
關于深度學習的反思，來自紐約州立大學的顧險峰教授也有很多理解。顧險峰認為，深度學習方法深刻地轉變了學術研究的范式。以前學者們所采用的觀察現象，提煉規律，數學建模，模擬解析，實驗檢驗，修正模型的研究套路被徹底顛覆，被數據科學的方法所取代：收集數據，訓練網絡，實驗檢驗，加強訓練。
在深度學習新方法下，嚴格的數學推理缺失了。比如說地圖四色定理的證明，數學家將平面圖的構型分成1936種，然后用計算機逐一驗證。當然在足夠的算力下，這可以證明地圖四色定理。但是在這個過程中，沒有新穎概念提出，換言之，機械蠻力代替了幾何直覺。
而在數學歷史上，對于一個著名猜想的證明和解答，答案本身也許并不重要，在尋找證明的過程中所凝練的概念，提出的方法，發展的理論才是真正目的所在。機械定理證明驗證了命題的真偽，但是無法明確地提出新的概念和方法，實質上背離了數學的真正目的。
所以說，這是一種“相關性”而非“因果性”的科學。歷史上，人類積累科學知識，在初期總是得到“經驗公式”，但是最終還是尋求更為深刻本質的理解。例如從煉丹術到化學、量子力學的發展歷程。
人類智能更為獨特之處也在于數學推理，特別是機械定理證明，對于這一點，機器學習方法是無能為力的。當人的數學推理缺失的時候，僅僅依靠機器蠻力，就會遇到很大制約。
商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識
QQ群：81035754
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/4343.html
摘要：進一步說，如果承認深度學習系統在解決問題時不可思議的表現，那么大數據和深度學習，都有某種蠻力的味道。不過，我自己并不同意深度學習必須等同于機器蠻力。 Facebook去年底挖來了一個機器學習大神Vladimir Vapnik，他是統計學習理論和支持向量機的主要發明者。Vladimir Vapnik被稱為統計學習理論之父，他出生于俄羅斯，1990年底移居美國，在美國貝爾實驗室一直工作到2002...
摘要：第一條是關于深度學習的晚宴，討論的是背后的數學支撐，以及未來的方向。大數據與深度學習是一種蠻力盡管當場說了很多觀點，但是最核心的還是援引了愛因斯坦關于上帝的隱喻。不過，我自己并不同意深度學習必須等同于機器蠻力。 Vladimir Vapnik 介紹：Vladimir Vapnik 被稱為統計學習理論之父，他出生于俄羅斯，1990 年底移居美國，在美國貝爾實驗室一直工作到 2002 年，之后加...
摘要：主流機器學習社區對神經網絡興趣寡然。對于深度學習的社區形成有著巨大的影響。然而，至少有兩個不同的方法對此都很有效應用于卷積神經網絡的簡單梯度下降適用于信號和圖像，以及近期的逐層非監督式學習之后的梯度下降。 我們終于來到簡史的最后一部分。這一部分，我們會來到故事的尾聲并一睹神經網絡如何在上世紀九十年代末擺脫頹勢并找回自己，也會看到自此以后它獲得的驚人先進成果。「試問機器學習領域的任何一人，是什...
摘要：團隊或身邊中大多數人都在問這問題怎么辦，而總是你能站出來告訴大家這事該怎么辦被人所依賴。團隊或身邊中大多數人在做比較關鍵的決定時，都會來找你咨詢你的意見和想法。比如，或的某個高級工程師，可能就對應于阿里的甚至更高。 文章來源 | 酷殼 作者 | 陳皓 技術圈中的很多人，最初都堅定地認為 coding 能改變世界。然而三五年過去后，還能不忘初心的人，少之又少。 隨著年齡的增長，夢想已被束...
摘要：本文介紹了包括等在內的一系列編程語言的深度學習庫。是一個部署在編程語言中的深度學習工具包，用于通過高效的算法處理大型文本集。是公司基于開發的深度學習框架。是第一個為和編寫的消費級開元分布式深度學習庫。 本文介紹了包括 Python、Java、Haskell等在內的一系列編程語言的深度學習庫。PythonTheano 是一種用于使用數列來定義和評估數學表達的 Python 庫。它可以讓 Pyt...
閱讀 2799·2021-09-23 11:44
閱讀 1687·2021-09-13 10:24
閱讀 2638·2021-09-08 09:36
閱讀 1241·2019-08-30 15:54
閱讀 2264·2019-08-30 13:54
閱讀 3323·2019-08-30 10:57
閱讀 1860·2019-08-29 18:43
閱讀 3627·2019-08-29 15:10
