摘要：由于它能用較少的數(shù)據(jù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，這使得目前它在深度學(xué)習(xí)領(lǐng)域非常流行。這種類型的遷移學(xué)習(xí)在深度學(xué)習(xí)中最為常用。特征提取另一種方法是使用深度學(xué)習(xí)找出表述問題的最佳形式，這意味著要找到最重要的特征。

摘要： 到底是遷移學(xué)習(xí)？什么時(shí)候使用它？如何使用它？

所謂遷移學(xué)習(xí)是指針對(duì)新問題重新使用預(yù)先訓(xùn)練的模型。由于它能用較少的數(shù)據(jù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，這使得目前它在深度學(xué)習(xí)領(lǐng)域非常流行。通過這篇文章您將會(huì)了解什么是遷移學(xué)習(xí)，它是如何工作的，為什么應(yīng)該使用它以及何時(shí)可以使用它。同時(shí)這篇文章將向您介紹遷移學(xué)習(xí)的不同方法，并為您提供一些已經(jīng)預(yù)先訓(xùn)練過的模型的資源。

它是什么？

怎么運(yùn)行的

你什么時(shí)候應(yīng)該使用它

遷移學(xué)習(xí)的方法（訓(xùn)練一個(gè)模型以重用它，使用預(yù)訓(xùn)練模型，特征提取）

受歡迎的預(yù)訓(xùn)練模型

在遷移學(xué)習(xí)中，能夠使用預(yù)先訓(xùn)練模型的問題只能是與之不同但相類似的問題。比如，您訓(xùn)練了一個(gè)簡(jiǎn)單的分類器來預(yù)測(cè)圖像中是否有背包，則可以使用模型在訓(xùn)練過程中獲得的知識(shí)來識(shí)別太陽鏡等其他物體。

遷移學(xué)習(xí)的總體思路是利用已有知識(shí)，即一個(gè)模型從一項(xiàng)任務(wù)中學(xué)到的很多被標(biāo)記的訓(xùn)練數(shù)據(jù)可以用在另外一個(gè)我們沒有很多數(shù)據(jù)的新任務(wù)中。

遷移學(xué)習(xí)主要用于需要大量計(jì)算能力的計(jì)算機(jī)視覺和自然語言處理任務(wù)，如情感分析。

例如，在計(jì)算機(jī)視覺領(lǐng)域，神經(jīng)網(wǎng)絡(luò)通常會(huì)嘗試檢測(cè)早期圖層的邊緣，中間圖層的形狀以及底圖層中的一些特定人物的特征。通過遷移學(xué)習(xí)，您可以利用最初接受培訓(xùn)任務(wù)留下的早期層和中間層，并僅對(duì)底圖層進(jìn)行重新的訓(xùn)練。

例如，上述提到的識(shí)別背包的訓(xùn)練模型示例，該模型將用于識(shí)別太陽鏡。在早期的圖層中，模型學(xué)會(huì)識(shí)別物體，因此，我們只需重新訓(xùn)練后一層，這樣它就能了解到太陽鏡和其他物體的區(qū)別。

遷移學(xué)習(xí)的主要優(yōu)點(diǎn)是節(jié)省訓(xùn)練時(shí)間，在大多數(shù)情況下您的神經(jīng)網(wǎng)絡(luò)不需要大量數(shù)據(jù)就能使得性能更好。

通常情況下，從頭開始訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)需要大量的數(shù)據(jù)，但你并不總是能夠獲得足夠的數(shù)據(jù)。比如自然語言處理（NLP），它需要?jiǎng)?chuàng)建大型標(biāo)記數(shù)據(jù)集。而要訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)有時(shí)需要大量時(shí)間，這樣您還可以節(jié)省大量訓(xùn)練時(shí)間。

據(jù)DeepMind Technologies首席執(zhí)行官Demis Hassabis介紹，Transfer也是最有前途的技術(shù)之一，它有朝一日可以引領(lǐng)我們進(jìn)入人工智能（AGI）領(lǐng)域。

一種情況是，當(dāng)滿足以下一點(diǎn)或兩點(diǎn)：（a）您沒有足夠的帶標(biāo)簽的培訓(xùn)數(shù)據(jù)來從頭開始培訓(xùn)您的網(wǎng)絡(luò)（b）已經(jīng)存在一個(gè)預(yù)先培訓(xùn)過的類似任務(wù)的網(wǎng)絡(luò)，該網(wǎng)絡(luò)通常是經(jīng)過大量數(shù)據(jù)的培訓(xùn)的。另一個(gè)適用的情況是，任務(wù)1和任務(wù)2具有類似的輸入。

如果原始模型是使用TensorFlow進(jìn)行訓(xùn)練的，您可以簡(jiǎn)單地恢復(fù)它并為您的任務(wù)重新訓(xùn)練一些層。請(qǐng)注意，只有當(dāng)從第一個(gè)任務(wù)中學(xué)習(xí)的特性具有一般性時(shí)，轉(zhuǎn)移學(xué)習(xí)才會(huì)起作用，這意味著他們對(duì)于另一個(gè)相關(guān)的任務(wù)也很有用。此外，模型的輸入需要與初始訓(xùn)練時(shí)的尺寸同步。如果沒有，您需要增加一個(gè)預(yù)處理步驟，將輸入大小調(diào)整到所需大小。

1. 訓(xùn)練一個(gè)模型并運(yùn)用它

舉個(gè)例子，你想解決任務(wù)A，但沒有足夠的數(shù)據(jù)來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。但是你有關(guān)于與之類似的任務(wù)B的大大量數(shù)據(jù)，您可以在任務(wù)B上訓(xùn)練一個(gè)深度神經(jīng)網(wǎng)絡(luò)，并以此模型為出發(fā)點(diǎn)來解決您的初始任務(wù)A。

您所嘗試解決的問題決定了您是使用整個(gè)模型還是僅使用其中的幾層。如果您在兩個(gè)任務(wù)中有相似的輸入，則可以重新使用該模型并對(duì)新輸入進(jìn)行預(yù)測(cè)。或者，您也可以更改并重新訓(xùn)練不同的任務(wù)特定圖層或輸入圖層。

2. 使用預(yù)訓(xùn)練模型

這里有很多這樣的模型，所以你需要做一些研究。你可以重復(fù)使用多少層，需要再次訓(xùn)練多少層，很難形成一個(gè)通用規(guī)則。

例如，Keras提供了九種預(yù)先訓(xùn)練的模型，可用于遷移學(xué)習(xí)、預(yù)測(cè)、特征提取和微調(diào)。從這里您可以了解到如何使用這些模型。

也有很多研究機(jī)構(gòu)發(fā)布了他們已經(jīng)培訓(xùn)過的模型。這種類型的遷移學(xué)習(xí)在深度學(xué)習(xí)中最為常用。

3. 特征提取

另一種方法是使用深度學(xué)習(xí)找出表述問題的最佳形式，這意味著要找到最重要的特征。這種方法也被稱為表示學(xué)習(xí)，并且通常可以獲得比用手工設(shè)計(jì)的表示更好地性能。

在機(jī)器學(xué)習(xí)的大部分時(shí)間里，這些功能都是由研究人員和領(lǐng)域?qū)＜沂止ぶ谱鞯模迷谏疃葘W(xué)習(xí)可以自動(dòng)提取特征，但是您仍然需要決定應(yīng)將哪些功能放入網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)可以了解到你已經(jīng)投入了哪些功能，哪些是真正重要的，哪些不是。表示學(xué)習(xí)算法可以在很短的時(shí)間內(nèi)發(fā)現(xiàn)一個(gè)很不錯(cuò)的特征組合（就算是需要大量人力的復(fù)雜任務(wù)也可以做到這一點(diǎn)）。

表示學(xué)習(xí)也可以用于其他問題。您只需使用第一層來找出特征的正確表示，但由于它任務(wù)特定性太強(qiáng)，不能使用網(wǎng)絡(luò)的輸出。只需將數(shù)據(jù)提供給您的網(wǎng)絡(luò)，并使用其中一個(gè)中間層作為輸出層。這一層可以被解釋為原始數(shù)據(jù)的表示。

這種方法主要用于計(jì)算機(jī)視覺領(lǐng)域，因?yàn)樗梢詼p少數(shù)據(jù)集的大小，從而縮短計(jì)算時(shí)間并使其更適合傳統(tǒng)算法。

受歡迎的預(yù)訓(xùn)練模型

有一些預(yù)先訓(xùn)練好的機(jī)器學(xué)習(xí)模型非常流行，其中之一是Inception-v3模型，該模型經(jīng)過了ImageNet“大型視覺識(shí)別挑戰(zhàn)”的培訓(xùn)。在這個(gè)挑戰(zhàn)中，參與者必須將圖像分為1000個(gè)類，如“斑馬”“斑點(diǎn)狗”和“洗碗機(jī)”。

在這里，您可以從TensorFlow中看到有關(guān)如何重新訓(xùn)練圖像分類器的教程。

微軟還通過MicrosoftML R軟件包和microsoft Python軟件包提供了一些預(yù)先訓(xùn)練好的模型，可用于R和Python開發(fā)。

其他非常流行的模型是ResNet和AlexNet。您可以訪問pretrained.ml，它是一個(gè)可排序搜索的預(yù)訓(xùn)練深度學(xué)習(xí)模型匯編，還有演示和代碼。

本文由阿里云云棲社區(qū)組織翻譯。

文章原標(biāo)題《Transfer Learning》

作者：Niklas Donges

詳情請(qǐng)閱讀原文