這里是純干貨！2018年深度學(xué)習(xí)的10個發(fā)展預(yù)測

hiyayiji 發(fā)布于2019-07-30 17:43 / 3197人閱讀

摘要：年深度學(xué)習(xí)取得的驚人突破將在年以一種非常有力的方式延續(xù)下去。整理了一份年深度學(xué)習(xí)的預(yù)測清單。谷歌將繼續(xù)以的開發(fā)項目給世界帶來驚喜。深度學(xué)習(xí)發(fā)現(xiàn)了通用函數(shù)近似器。深度學(xué)習(xí)研究信息將減少年對于從事深度學(xué)習(xí)研究的人來說已經(jīng)很困難了。

【網(wǎng)易智能訊1月4日消息】我有一種預(yù)感，2018年可能是一切都發(fā)生戲劇性變化的一年。2017年深度學(xué)習(xí)取得的驚人突破將在2018年以一種非常有力的方式延續(xù)下去。2017年的研究工作將會轉(zhuǎn)移到日常的軟件應(yīng)用中。

整理了一份2018年深度學(xué)習(xí)的預(yù)測清單。

1、大部分深度學(xué)習(xí)硬件初創(chuàng)公司會失敗許多深度學(xué)習(xí)硬件創(chuàng)業(yè)公司將開始在2018年最終交付他們的成品。大部分走向蕭條，因為他們沒有提供好的軟件來支持新解決方案。這些公司擁有硬件作為他們的DNA。不幸的是，在深度學(xué)習(xí)領(lǐng)域，軟件也同樣重要。這些創(chuàng)業(yè)公司大多不懂軟件，也不理解開發(fā)軟件的成本。這些公司可能會交付產(chǎn)品，但不會運行良久。

易實現(xiàn)的收縮陣列（systolic array）解決方案已經(jīng)被采用，因此不會有2017年那樣的10倍性能升級。研究人員將這些tensor cores不僅用于推斷，還用于加快訓(xùn)練速度。

英特爾的解決方案將繼續(xù)被推遲，而且可能會令人失望。記錄顯示英特爾無法在2017年中期發(fā)布，交付時間難以預(yù)測，這太遲了，而且會很糟糕。

谷歌將繼續(xù)以TPU的開發(fā)項目給世界帶來驚喜。或許，谷歌會通過將其IP授權(quán)給其他半導(dǎo)體廠商來涉足硬件業(yè)務(wù)。如果它繼續(xù)成為除英偉達以外唯一真正的玩家，這將是有意義的。

2、基于新隨機梯度下降（SGD）的元學(xué)習(xí) 2017年，元學(xué)習(xí)領(lǐng)域的大量研究成果出現(xiàn)。隨著研究群體對元學(xué)習(xí)的整體理解能力加強，隨機梯度下降（SGD）的舊范式將被擱置，取而代之的是一種更有效的方法，兼具開發(fā)和探索性。

非監(jiān)督學(xué)習(xí)的進步將是漸進的，但主要是由元學(xué)習(xí)算法驅(qū)動的。

3、生成模型驅(qū)動了一種新的建模方法生成模型不斷發(fā)展。目前，大多數(shù)研究都是在生成圖像和語音方面進行的。不過，我們應(yīng)當看到這些方法結(jié)合工具被用于復(fù)雜系統(tǒng)的建模。其中的一個應(yīng)用領(lǐng)域是經(jīng)濟建模。

4、“自對弈”（Self-play）是自動的知識創(chuàng)造 AlphaGo Zero和AlphaZero之間從零開始學(xué)習(xí)到“自對弈”學(xué)習(xí)是一次巨大的飛躍，在我看來，它和深度學(xué)習(xí)的到來有著同樣的影響。深度學(xué)習(xí)發(fā)現(xiàn)了通用函數(shù)近似器（Universal Function Approximators）。強化學(xué)習(xí)“自對弈”發(fā)現(xiàn)了普遍的知識創(chuàng)造。

期待看到更多與“自對弈”（Self-play）相關(guān)的進步。

5、直覺機器將彌合語義鴻溝這是我最大膽的預(yù)測。我們將彌合直覺機器和理性機器之間的語義鴻溝。

雙過程理論（兩個認知機器的概念，一個是無模型的，另一個是基于模型的）將會是更普遍的概念，即我們應(yīng)該如何構(gòu)建新的人工智能。在2018年，人工直覺的概念將不再是一個邊緣概念，而是一個普遍接受的概念。

6、解釋能力（Explainability）是無法實現(xiàn)的，我們只能假裝解釋能力存在兩個問題。更常見的問題是，解釋對人們來說有太多的規(guī)則需要去掌握。第二個問題不太為人所知，那就是機器將會創(chuàng)造出完全陌生的概念，無法解釋。我們已經(jīng)在AlphaGo Zero和Alpha Zero的戰(zhàn)略中看到了這一點。人類會觀察到，此舉是非常規(guī)的，但他們可能沒有能力去理解這一舉動背后的邏輯。

在我看來，這是一個無法解決的問題。取而代之的是，機器將變得非常善于“偽裝解釋”。簡而言之，可解釋的機器的目的是理解一個人能夠自如地理解或能從直覺上理解的各種解釋。然而，在大多數(shù)情況下，對人類來說，完整的解釋是不可能的。

我們必須通過創(chuàng)造“假解釋”來在深度學(xué)習(xí)中取得進展。

7、深度學(xué)習(xí)研究信息將減少 2017年對于從事深度學(xué)習(xí)研究的人來說已經(jīng)很困難了。提交到ICLR 2018會議的論文數(shù)量約為4,000篇。一個研究人員每天要閱讀10篇論文，僅僅是為了能與會議同步。

在這個領(lǐng)域，問題變得更加嚴重，因為所有的理論框架都在不斷完善之中。為了在理論空間上取得進步，我們需要尋找更先進的數(shù)學(xué)知識，讓我們有更好的洞察力。這將是一項艱苦的工作，因為大多數(shù)深度學(xué)習(xí)研究人員沒有相應(yīng)的數(shù)學(xué)背景來理解這類系統(tǒng)的復(fù)雜性。深度學(xué)習(xí)需要來自復(fù)雜性理論的研究人員，但這種類型的研究人員卻很少。

由于論文太多，理論也不完善，我們只能看到今天我們所處的不受歡迎的狀態(tài)。

此外，人工智能（AGI）的總體路線圖也缺失了。這個理論很弱，因此，我們能做的最好的事情就是創(chuàng)建一個包含與人類認知相關(guān)的里程碑的路線圖。我們只有一個源自認知心理學(xué)的推測理論的框架。這是一種糟糕的情況，因為來自這些領(lǐng)域的經(jīng)驗證據(jù)充其量只能是零星的。

深度學(xué)習(xí)研究論文在2018年可能會增加兩倍或四倍。

8、工業(yè)化通過教學(xué)環(huán)境進行深度學(xué)習(xí)系統(tǒng)的發(fā)展，是通過具體的教學(xué)環(huán)境的發(fā)展而實現(xiàn)的。我在這里和這里更詳細地討論這個問題。如果你想找到教學(xué)技巧的最高級形式，你只需要看看學(xué)習(xí)網(wǎng)絡(luò)是如何訓(xùn)練的。我們都希望在這一領(lǐng)域取得更多進展。

預(yù)計將有更多公司披露其內(nèi)部基礎(chǔ)設(shè)施，以說明他們?nèi)绾未笠?guī)模部署深度學(xué)習(xí)。

9、對話認知產(chǎn)生我們衡量AGI進展的方法是過時的。需要一種新的范式來解決現(xiàn)實世界中的動態(tài)(即非平穩(wěn))復(fù)雜性。我們應(yīng)該在新的一年里看到更多關(guān)于這個新領(lǐng)域的報道。我將在3月1日至2日在阿姆斯特丹舉行的信息能源2018上談?wù)撨@種新的對話認知范式。

10、對人工智能倫理使用的需求將會增加。如今，人們越來越意識到自動化失控造成的意外會帶來的災(zāi)難性后果。我們今天在Facebook、Twitter、谷歌、亞馬遜等網(wǎng)站上發(fā)現(xiàn)的簡單自動化可能會對社會產(chǎn)生不必要的影響。

我們需要理解部署能夠預(yù)測人類行為的機器的倫理道德。面部識別是我們掌握的最危險的能力之一。能夠生成與現(xiàn)實難以區(qū)分的媒體的算法將會成為一個大問題。我們作為社會的一員，需要開始把人工智能僅僅作為一個造福社會的整體，而不是作為一種增加不平等的武器。

預(yù)計在接下來的一年里會有更多關(guān)于道德的討論。然而，不要期待新的監(jiān)管規(guī)定。在理解人工智能對社會的影響方面，政策制定者仍然落后。我不指望他們停止玩弄政治，開始解決社會真正的問題。美國人口已經(jīng)成為眾多安全漏洞的受害者，但我們還沒有看到任何新的立法或倡議來解決這個嚴重的問題。所以不要屏住呼吸，我們的領(lǐng)導(dǎo)人會突然發(fā)現(xiàn)智慧。

準備迎接沖擊，這就是我現(xiàn)在所擁有的一切。2018年將是重要的一年，我們最好系緊安全帶，準備迎接沖擊。