資訊專欄INFORMATION COLUMN
摘要：作為工程師的我們，怎樣才能確保在網(wǎng)絡(luò)訓(xùn)練過程中不存在偏見和種族歧視深度神經(jīng)網(wǎng)絡(luò)很難用來解決邏輯問題。深度神經(jīng)網(wǎng)絡(luò)在處理大維度的特征數(shù)據(jù)方面效果不佳。
認(rèn)臉、翻譯、合成語音……深度學(xué)習(xí)在很多問題上都取得了非常好的成績。
那么，還有什么問題不能用深度學(xué)習(xí)來解決呢？
斯坦福大學(xué)在讀博士Bharath Ramsundar列出了以下15個(gè)方面，希望能對(duì)今后的算法開發(fā)有所幫助。
以下為譯文：
1. 眾所周知，深度學(xué)習(xí)方法很難學(xué)習(xí)到輸入樣本的微小變化。當(dāng)樣本的顏色交換時(shí)，所構(gòu)建的目標(biāo)識(shí)別系統(tǒng)可能會(huì)完全崩潰。
2. 基于梯度的網(wǎng)絡(luò)訓(xùn)練過程相當(dāng)緩慢。一般按照固定模式來實(shí)現(xiàn)多種梯度下降方法，但是這種方法很難用于高維數(shù)據(jù)的預(yù)測(cè)。
3. 深度學(xué)習(xí)方法在處理?xiàng)l件約束方面的效果也不佳，不能像線性規(guī)劃方法那樣，能快速找到滿足約束的解決方案。
4. 在訓(xùn)練復(fù)雜模型時(shí)，網(wǎng)絡(luò)相當(dāng)不穩(wěn)定。通常不能很好地訓(xùn)練神經(jīng)圖靈機(jī)和GAN網(wǎng)絡(luò)，嚴(yán)重依賴網(wǎng)絡(luò)的初始化方式。
5. 深層網(wǎng)絡(luò)能較好地應(yīng)用于圖像處理和自然語言分析中，但是不適合現(xiàn)實(shí)世界的實(shí)際問題，如提取因果結(jié)構(gòu)等等。
6. 在實(shí)際應(yīng)用中，要考慮關(guān)鍵影響者檢測(cè)的問題。在參議員投票的數(shù)據(jù)集中，應(yīng)該如何檢測(cè)出關(guān)鍵影響者，深度神經(jīng)網(wǎng)絡(luò)DNN還不能應(yīng)用于此方面。
7. 強(qiáng)化學(xué)習(xí)（Reinforcement Learning）方法對(duì)輸入數(shù)據(jù)非常挑剔，實(shí)際性能主要取決于調(diào)參技巧，雖然這個(gè)特殊問題僅存在于這個(gè)方面。
8. 深度學(xué)習(xí)方法不容易理解未知實(shí)體，比如說當(dāng)棒球擊球手在視頻中，深度學(xué)習(xí)不知道如何推斷出屏幕外還有個(gè)投手。
9. 實(shí)時(shí)訓(xùn)練深層網(wǎng)絡(luò)幾乎不可能，因此很難進(jìn)行動(dòng)態(tài)調(diào)整，上文已經(jīng)提到網(wǎng)絡(luò)訓(xùn)練緩慢的問題。
10. 一般來說，網(wǎng)絡(luò)需通過離線訓(xùn)練后才能進(jìn)行智能辨識(shí)。
11. 人們經(jīng)常提出一些對(duì)深層網(wǎng)絡(luò)的理論解釋。但這可能不是一個(gè)大問題，人們才是一個(gè)真正的大問題。
12. 目前很難確定深層網(wǎng)絡(luò)學(xué)習(xí)到了什么。作為工程師的我們，怎樣才能確保在網(wǎng)絡(luò)訓(xùn)練過程中不存在偏見和種族歧視？
13. 深度神經(jīng)網(wǎng)絡(luò)很難用來解決邏輯問題。3SAT求解器具有很強(qiáng)的能力，但是很難應(yīng)用到深層網(wǎng)絡(luò)。
14. 深度神經(jīng)網(wǎng)絡(luò)在處理大維度的特征數(shù)據(jù)方面效果不佳。這種方法與強(qiáng)大的隨機(jī)森林方法不同，在訓(xùn)練前需要大量的特征調(diào)整。
15. 深度網(wǎng)絡(luò)的超參數(shù)優(yōu)化研究仍然處于起步階段。研究者需要完成大量的計(jì)算或是手動(dòng)調(diào)整許多網(wǎng)絡(luò)結(jié)構(gòu)。
以上這些并不是一個(gè)完整的列表，但是我覺得這些都是值得思考的問題。在這些問題的基礎(chǔ)上，要思考：
這些問題是深層神經(jīng)網(wǎng)絡(luò)本身存在的問題，還是要被克服的工程挑戰(zhàn)？
這些都很難說，其中的一些問題可能會(huì)得到解決，比如更多性能優(yōu)秀的硬件被開發(fā)用于超參數(shù)自動(dòng)搜索。有一些早期結(jié)構(gòu)可以用來自動(dòng)歸一化和處理大維度的特征數(shù)據(jù)，因此處理特征的問題可能有所改善。
然而，邏輯、約束、隱藏結(jié)構(gòu)和網(wǎng)絡(luò)審查等問題可能會(huì)進(jìn)行更深入的研究。我很愿意看到大家對(duì)這些問題提出質(zhì)疑，深度學(xué)習(xí)的研究者通常都是很有才華和想象力的。摩爾定律仍然適用于GPU性能曲線，TPU和定制硬件還需要多久才能上市？
所以我對(duì)這些挑戰(zhàn)持樂觀態(tài)度。盡管如此，我還是懷疑深度神經(jīng)網(wǎng)絡(luò)不足以實(shí)現(xiàn)通用人工智能，當(dāng)然，這可能只是我的偏見，事件上的專家可能是預(yù)測(cè)上的菜鳥，我們花了太多時(shí)間鉆研技術(shù)。
千萬不要只知其然，而不知其所以然！
我不想把這個(gè)隨筆寫成一篇文章，不確定是否有未知的主題還未被列出。
最后，作者還說，把這篇隨筆送給聰明的讀者。
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://m.specialneedsforspecialkids.com/yun/4587.html
摘要：值得一提的是每篇文章都是我用心整理的，編者一貫堅(jiān)持使用通俗形象的語言給我的讀者朋友們講解機(jī)器學(xué)習(xí)深度學(xué)習(xí)的各個(gè)知識(shí)點(diǎn)。今天，紅色石頭特此將以前所有的原創(chuàng)文章整理出來，組成一個(gè)比較合理完整的機(jī)器學(xué)習(xí)深度學(xué)習(xí)的學(xué)習(xí)路線圖，希望能夠幫助到大家。 一年多來，公眾號(hào)【AI有道】已經(jīng)發(fā)布了 140+ 的原創(chuàng)文章了。內(nèi)容涉及林軒田機(jī)器學(xué)習(xí)課程筆記、吳恩達(dá) deeplearning.ai 課程筆記、機(jī)...
摘要：年基于云平臺(tái)的需求，和排他數(shù)據(jù)庫的利潤增長，破天荒的推出了版本，并補(bǔ)丁從到到版本。破局阿里云，快速布置裝備了最最新版服務(wù)器，能上網(wǎng)就能訪問。為您找項(xiàng)目保駕護(hù)航支持訪問。裝了新版本，專門對(duì)外開發(fā)，給行業(yè)內(nèi)外各兄弟們研究學(xué)習(xí)使用。各位同行，各位SAP圈內(nèi)外兄弟姐妹們： SAP從R2 R3版本，演繹到ECC6 版本，并堅(jiān)持20年不變版本而增發(fā)補(bǔ)丁EHP1-EHP8。2016年,基于云平臺(tái)的需求，...
摘要：由吳恩達(dá)領(lǐng)導(dǎo)的斯坦福大學(xué)機(jī)器學(xué)習(xí)小組，研發(fā)出一種新的深度學(xué)習(xí)算法，可以診斷種類型的心律失常。吳恩達(dá)表示，機(jī)器學(xué)習(xí)模型可以比專家更較精確的診斷心律失常。這項(xiàng)研究可能是機(jī)器學(xué)習(xí)徹底改變醫(yī)療行業(yè)的標(biāo)志之一。 由吳恩達(dá)領(lǐng)導(dǎo)的斯坦福大學(xué)機(jī)器學(xué)習(xí)小組，研發(fā)出一種新的深度學(xué)習(xí)算法，可以診斷14種類型的心律失常。吳恩達(dá)表示，機(jī)器學(xué)習(xí)模型可以比專家更較精確的診斷心律失常。這項(xiàng)研究可能是機(jī)器學(xué)習(xí)徹底改變醫(yī)療行業(yè)...
摘要：生成你的明星臉介紹，叫做生成對(duì)抗網(wǎng)絡(luò)。改進(jìn)損失函數(shù)為了訓(xùn)練過程穩(wěn)定，生成高質(zhì)量的圖像，論文中采用自定義梯度懲罰來代替對(duì)抗誤差損失其中表示真實(shí)和生成圖像之間均勻采樣的直線，試驗(yàn)時(shí)。 StarGAN——生成你的明星臉 1 GAN 介紹 GAN，叫做生成對(duì)抗網(wǎng)絡(luò) (Generative Adversarial Network) 。其基本原理是生成器網(wǎng)絡(luò) G(Generator) 和判別器網(wǎng)...
閱讀 2242·2021-11-17 09:33
閱讀 2783·2021-11-12 10:36
閱讀 3406·2021-09-27 13:47
閱讀 894·2021-09-22 15:10
閱讀 3494·2021-09-09 11:51
閱讀 1399·2021-08-25 09:38
閱讀 2762·2019-08-30 15:55
閱讀 2613·2019-08-30 15:53
