摘要：毫無疑問，深度學習將驅動在公司中的應用。在其價值評估和策略評估上使用的就是深度學習。端到端的深度學習是一個令人著迷的研究領域，但是迄今為止混合系統在應用領域會更有效率。目前專注于深度學習模式，方法和戰略的研究。

在之前的博客中，我曾預言過未來幾年的發展趨勢。我記得上一篇博客的內容是《2011年軟件開發趨勢和相關預言》（Software DevelopmentTrends and Predictions for 2011，http://www.manageability.org/blog/stuff/software-development-trends-2011/view），是很久之前的事情了。現在想來，在那篇博客的十條預言中，有六條是準確的（即 avascript VM、NoSQL、Big Data Analytics、Privated Cloulds、Inversion of Desktop Service 和 Scala），但另外四條則并沒有完全實現（即 Enterprise AppStores、Semantic Indexing、OAuth in the Enterprise 以及 Proactive Agents）。AppStores 和 OAuth 采用的是 Saas ?模型，雖然未在大公司一展身手，卻在小公司發揮了很大的作用。我會總結先前預言失敗的教訓，之前沒有料到企業革新的速度竟如此緩慢！Semantic Indexing 和 Proactive Agents是其中最主要的兩個預測，但是很不幸沒能如我最開始設計的那樣發展。可能是我當時高估了人工智能技術，當時深度學習還沒有被創造出來。

?

現在，我對于深度學習的預言不會像之前那樣，停留在概念水平上。同時，我也不會再預測公司是否會采用我的說法，而是把關注的焦點集中在研究趨勢和預言上。毫無疑問，深度學習將驅動 AI 在公司中的應用。雖然形式還不夠明朗，但對于 AI 來說，深度學習確實是其最主要的驅動力和方法。但目前我們尚不清楚，2017年中將會出現的哪些新的技術，推動人工智能獲得指數式的發展。

?

所以，對于2017年，讓我大膽的預測一下！

?

1. 硬件將雙倍加速摩爾定律（i.e.2xin 2017）

如果你追蹤過 Nvidia 和 Intel 的開發進程的話，這一趨勢可謂顯而易見。憑借著更為豐富多樣的深度學習生態系統，2017將是由 Nvidia 主導的一年。在其他平臺有足夠的生態系統來開發DL之前，我想沒有哪個人會選擇離開 Nvidia。未來，Intel 的 Xeon Phi 將是所有解決方案中更為較精確的方案，在2017年基于 ?Nervana 的芯片被推出之時，其性能上將會趕上 Nvidia。

?

從經濟學的角度考慮，云提供商會采用 Intel 的 FPGA 方案。能源消耗是需要降低的首要變量。在2017年，Intel 基于 Neravana 的芯片的計算速度將會達到每秒種30萬億次。這雖然是我估計的數字，但目前 Nvidia 的計算速度已經能夠達到每秒20萬億次了，我打賭 Intel 在2018年一定會有對整個市場造成重大的影響的技術創新。由于 Intel 擁有 3D XPoint 技術，將來很可能會成為行業的佼佼者。考慮到使用 HBM2 的 GPU 在其頂部堆棧的性能因素，3DXPoint 技術可能會提高整個硬件棧，但不一定會加速核心能力。

?

目前，Amazon 已經發布了其基于 FPGA 的云實例（http://aws.amazon.com/blogs/aws/developer-preview-ec2-instances-f1-with-programmable-hardware/），根據的是 Xilinx UltraScal+e 技術，并在單實例上提供了6800個 DSP 薄片和64G內存。盡管提供的并不是 UltraScale+ 的 HBM ?版本，I/O 受到限制，其運行能力仍然令人印象深刻。與 Nvidia 相比，在較低內存寬帶的解決方案上，Intel（甚至包括 AMD）可能會暫停開發人員的開發工作，討論是否投資給一項更復雜的開發流程（i.e.VHDL,Verilogetc）。

?

在披露的消息中，AMD 公開了其的 AMD 深度學習加速器直覺線，對 ?Nvidia 的硬件來說極具競爭性。AMD 計劃在2017年年初發布該文檔。這或許是要給 AMD 的 ROCm 軟件開發預留足夠的時間，確保其成熟可用。

?

2. 卷積神經網絡（CNN）將占主導地位

CNN 將會成為 DL 系統廣泛使用的基本模型。RNN 和 LSTM 與其循環識別和嵌入式記憶結點的使用將越來越少，與基于 CNN 的解決方案相比，不再具有競爭力。就像 GOTO 會從編程界消失一樣，我預期 RNN 和 LSTM 也會有同樣的宿命。事實上，并行架構的性能是勝過順序架構的。

?

可微記憶網絡將會更加通用。自然而然地，內存將會從核心節點中提取出來，作為計算機制中多帶帶的組件。我們需要記住的是，LSTM 的輸入和輸出門將會被輔助可微記憶取代。先前我們已經看到過關于重構 LSTM 解耦內存的討論（參見擴充內存 RNN）。

?

3. 設計者會更依賴 Meta-learning

在我剛開啟深度學習之旅時，我曾想過優化算法，尤其是那些二階會導致大規模改進的算法。現在，顯而易見，DL 就能為你學習優化算法。對于那些考慮獲取更優版本 SGD 的人來說，這是一個終結。SGD 的更優版本即為機器學習，是當下十分具有針對性的問題。與此同時，Meta-Learning 能夠基于它的域自適應優化學習。更具相關性的一個問題是，未來是否會出現反向傳播算法的替代性算法。2017年年末，人類手工調整 SGD 算法的目標很有可能成為現實。

?

4. 強化學習僅會變得更具創造性

對現實的觀察永遠不盡完美，SGD 在很多問題上也不適用。這就使得，DL 系統的的所有實際應用都必須伴有 RL（強化學習）。除此之外，DL 的訓練過程也離不開 RL。其中，Meta-Learning 就是在很大程度上受到 RL 影響的一個例子。事實上，RL 會被用來尋找各種各樣的神經網絡架構，與在類膽固醇上做超參數優化的過程類似。如果你恰巧忙于 Gaussian Process 事宜，可能要沒時間吃飯了吧。

?

5. 對抗與合作學習將稱王

過去，我們有單純分析目標函數的整體 DL 系統。未來，我們期待看到系統由兩個或兩個以上的網絡相互合作或競爭，從而獲得最優的解決方案，這個解決方案很可能不是以解析的形式出現。此處可參見《游戲理論揭示未來深度學習》（Game Theory reveals the future of Deep Learning，http://medium.com/intuitionmachine/game-theory-maps-the-future-of-deep-learning-21e193b0e33a）這篇文章。2017年將會涌現出大量的研究，用于嘗試管理非平衡環境。我們現在已經看到，研究人員正在努力使用 GANs 去找到可以處理非平衡狀態的方法。

?

6. 預測學習或者無監督學習的進展不會太多

當談及當下常見的術語“無監督學習”時，Yann LeCun 認為“預測學習”將是新的流行語。現在，我們還不能確定預測學習的應用范圍會不會進一步擴大。其中的問題是，預測學習是否能在2017年取得較大的突破。我現在的感覺是這件事情并不簡單，因為還不太清除其運行的機制，在概念上依然存在著很大的脫節。

?

如果你閱讀過我之前寫的 5 Capabilities of Deep Learning Intelligence 一文（http://medium.com/intuitionmachine/five-levels-of-capability-of-deep-learning-ai-4ac1d4a9f2be），你就會明白，預測學習是一種完全未知的能力，依然處于非常陌生的狀態。預測學習就像是宇宙學家所說的暗物質：我們知道它就在那個地方，但就是不知道怎樣才能看到它。我預感，它可能與高的熵或者其他的隨機性有關。

?

7. 從學習到工業化的轉化

吳恩達認為這是很重要的，我也這么認為！

?

8. 深度學習將會成為更多應用的組成部分

在2016年我們就已經看到，深度學習在比以往更大型的搜索算法中用作函數評估。AlphaGo 在其價值評估和策略評估上使用的就是深度學習。而 Google 的 ?Gmail 自動答復系統也使用了將 DL 與定向搜索想結合的方法。我期待能看到更多的混合算法，而不是新的端到端的訓練過的 DL 系統。端到端的深度學習是一個令人著迷的研究領域，但是迄今為止混合系統在應用領域會更有效率。

?

9. 采用設計模式的頻率會越來越高

深度學習是需要概念框架的眾多復雜領域中的一個。盡管涵蓋了很多高級的數學公式，但依然存在很多的文字描述和模糊的概念，可以從其他復雜領域中經證實十分有效的方法中獲得（如軟件開發領域），一般不通過正式而又十分嚴謹的途徑獲得。就 Deep Learning and Design Patterns 這篇文章而言（http://www.deeplearningpatterns.com/），我預言廣大人工智能從業者一定可以獲得設計模型。深度學習框架會變得越來越模塊化而不是越來越整體化，這也將會進一步促進上述預言的實現過程。

?

10. 工程化速度將超過理論出現的速度

研究人員的背景和其使用的數學工具，會使他們在研究過程中會產生一些偏見。深度學習系統和無監督學習系統似乎是我們之前從未遇到過的新事物。因此，沒有證據表明傳統分析工具會對解開 DL 的實際運作機制提供任何幫助。幾十年來，物理學上仍有大量動態系統讓我感到困惑，這與動態學習系統的情形相似。

?

盡管我們缺乏對基本原理的理解，但這種情況不會阻止工程化背景下更為先進的應用程序。深度學習更像是生物學或遺傳工程，我們能夠創造出仿真學習機器，但是并不能較精確地知道其工作的方式。然而，這并不能組織我們創新的腳步。

?

本文作者 Carlos E. Perez 擁有20年軟件開發經驗，自2000年以來，他主要擔任軟件開發中的技術架構師。他是家長控制融合移動電話產品的首席架構師和總監，并且還是一家風險資本資助的初創公司的首席架構師，為 B2B 交易所開發優化解決方案。目前專注于深度學習模式，方法和戰略的研究。

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754