摘要：之所以要對(duì)遷移學(xué)習(xí)進(jìn)行研究，其主要目的之一是為了在已有的深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)之上，訓(xùn)練另外的深度神經(jīng)網(wǎng)絡(luò)。深度神經(jīng)網(wǎng)絡(luò)所抽取到的特征表征通常來說都是向量，向量的長度代表了所使用的神經(jīng)特征數(shù)量。

譯者的話

論文的原標(biāo)題是“深度向量嵌入的圖表示法”，該標(biāo)題相對(duì)抽象，對(duì)沒有一定技術(shù)背景的讀者來說相對(duì)難以理解。所謂的向量嵌入，在圖像處理領(lǐng)域常見的就是CNN(Convolutional Neural Network)，CNN通過對(duì)圖像做各種操作之后，將圖像編碼為向量化結(jié)構(gòu)。但是這種獲取向量嵌入的方法只是把模型最后一層的向量化表示給輸出出來，而丟掉了網(wǎng)絡(luò)的其他層對(duì)輸入文本的特征抽取與表示。而本文原標(biāo)題中提到的深度向量嵌入的圖表示法的做法稍有不同。圖表示法要把神經(jīng)網(wǎng)絡(luò)模型的所有參與編碼的層都輸出出來，從而能夠得到神經(jīng)網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)的所有特征表達(dá)（也可以稱為嵌入表達(dá)）。把所有的嵌入式表達(dá)轉(zhuǎn)換為拓?fù)浣Y(jié)構(gòu)，從而獲取空間上的語義關(guān)系，這就是本文要探討的深度向量嵌入的圖表示法。

如果將深度向量嵌入的圖表示法應(yīng)用到基于CNN的文本分類領(lǐng)域，可以認(rèn)為一篇文本在經(jīng)過CNN處理的每一層，都會(huì)有一定的文本特征被提取出來，并構(gòu)建成圖。將文本集合送入深度神經(jīng)網(wǎng)絡(luò)之后，便會(huì)形成一個(gè)超大的基于文本特征的大圖，在這個(gè)大圖上可以做文本分類聚類等一系列任務(wù)。相對(duì)于我們目前所使用的基于向量的文本聚類方法，基于圖的聚類方法或許有進(jìn)一步探索的價(jià)值。

摘要

深度神經(jīng)網(wǎng)絡(luò)由于擁有非常強(qiáng)大的特征表示能力，作為類比，我們可以近似的認(rèn)為預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)本身是一門非常強(qiáng)大的描述性語言，該語言可以用于很多的用途。最為典型的應(yīng)用是把深度神經(jīng)網(wǎng)絡(luò)特征表征映射到向量空間中去，然后很多傳統(tǒng)的機(jī)器學(xué)習(xí)方法就可以基于這些向量空間進(jìn)行算法的學(xué)習(xí)與訓(xùn)練。在本文中，我們引入了一套方法將經(jīng)深度卷積神經(jīng)網(wǎng)絡(luò)編碼的知識(shí)映射到拓?fù)淇臻g中去，來構(gòu)造圖嵌入空間。基于所構(gòu)造的圖嵌入空間，我們會(huì)概括出其如何持有數(shù)據(jù)實(shí)例、如何持有數(shù)據(jù)特征、數(shù)據(jù)實(shí)例和數(shù)據(jù)特征之間的關(guān)系，以及數(shù)據(jù)特征之間的關(guān)系。最后，我們會(huì)進(jìn)行一些初步試驗(yàn)，并通過圖解析算法來論證如何使用圖嵌入空間。

機(jī)器的“記憶遷移”

深度學(xué)習(xí)模型通過在大規(guī)模、高維度的輸入數(shù)據(jù)集中尋找復(fù)雜的模式，來構(gòu)造規(guī)模龐大的數(shù)據(jù)表示集合。在深度學(xué)習(xí)訓(xùn)練過程結(jié)束時(shí)，訓(xùn)練好的模型可以看作是一種數(shù)據(jù)表示語言，深度神經(jīng)網(wǎng)絡(luò)中每一個(gè)神經(jīng)元所學(xué)習(xí)到的數(shù)據(jù)模式都可以被看作是該數(shù)據(jù)表示語言的詞匯。數(shù)據(jù)模式的抽取和重用也構(gòu)成了深度學(xué)習(xí)的一個(gè)子領(lǐng)域，被稱為遷移學(xué)習(xí)(Transfer Learning)。把一個(gè)已經(jīng)預(yù)先訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)中所包含的數(shù)據(jù)模式，以參數(shù)初始化的方式遷移到一個(gè)新的深度神經(jīng)網(wǎng)絡(luò)中，不僅可以避免對(duì)新的深度神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行隨機(jī)初始化，還可以實(shí)現(xiàn)原有深度神經(jīng)網(wǎng)絡(luò)的知識(shí)遷移。由此可以預(yù)見，遷移學(xué)習(xí)相對(duì)于把新的深度神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行隨機(jī)初始化而言，其大幅度提升了網(wǎng)絡(luò)的性能，從而為深度神經(jīng)網(wǎng)絡(luò)在有限數(shù)據(jù)集上的訓(xùn)練提供了可能。之所以要對(duì)遷移學(xué)習(xí)進(jìn)行研究，其主要目的之一是為了在已有的深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)之上，訓(xùn)練另外的深度神經(jīng)網(wǎng)絡(luò)。另外一個(gè)目的是抽取神經(jīng)網(wǎng)絡(luò)中對(duì)輸入數(shù)據(jù)的特征表征，從而其他的機(jī)器學(xué)習(xí)方法可以在已抽取的特征表征基礎(chǔ)之上，進(jìn)行進(jìn)一步的學(xué)習(xí)訓(xùn)練。對(duì)于后者而言，我們也常把這一過程稱為基于特征抽取的遷移學(xué)習(xí)，也是本文要重點(diǎn)探討的內(nèi)容。

深度神經(jīng)網(wǎng)絡(luò)所抽取到的特征表征通常來說都是向量，向量的長度代表了所使用的神經(jīng)特征數(shù)量。向量嵌入空間可以以實(shí)例-屬性對(duì)的方式饋入到分類器（典型的如Support Vector Machines）進(jìn)行分類任務(wù)。不過這不是本文研究的重點(diǎn)，在本文中我們把向量嵌入空間轉(zhuǎn)換為一種圖表示法，并且能夠被諸多的算法做進(jìn)一步的處理，如社區(qū)發(fā)現(xiàn)算法(community detection algorithms)等。基于圖或網(wǎng)絡(luò)的算法通常都會(huì)聚焦于尋找圖或網(wǎng)絡(luò)內(nèi)部各數(shù)據(jù)實(shí)例之間的關(guān)聯(lián)，從而發(fā)現(xiàn)拓?fù)浣Y(jié)構(gòu)上的內(nèi)在數(shù)據(jù)模式。相對(duì)于那些致力于尋找數(shù)據(jù)實(shí)例和屬性之間相互關(guān)系的算法而言，兩者所尋找的數(shù)據(jù)模式存在著非常顯著的差異。本文提出了一套基于神經(jīng)網(wǎng)絡(luò)嵌入的能夠用于構(gòu)建圖表示法的方法，把社區(qū)發(fā)現(xiàn)算法應(yīng)用到我們所構(gòu)建的圖上，并給出性能分析報(bào)告。

向量嵌入的圖表示法

向量嵌入通常都是通過捕獲深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)輸出層之前一層的輸出，一般來說都是全連接層。然而，對(duì)于深度卷積神經(jīng)網(wǎng)絡(luò)而言，網(wǎng)絡(luò)前面的層也都是可以用于特征抽取作用，尤其是在輸入數(shù)據(jù)和預(yù)先訓(xùn)練模型的數(shù)據(jù)之間的關(guān)聯(lián)性不是非常高的情形下。對(duì)于一個(gè)用于分類的CNN來說，網(wǎng)絡(luò)前面的幾層和后面的層，其行為上的顯著差別是靠近類別輸出層的部分其行為非常接近于判別行為，神經(jīng)元的激活也是零星的、偶發(fā)性的，行為表現(xiàn)干脆利索。而離輸出層較遠(yuǎn)的網(wǎng)絡(luò)部分，其行為表現(xiàn)更像是描述性的，激活比較頻繁，而且行為表現(xiàn)通常較為模糊，不像靠近輸出層網(wǎng)絡(luò)那般干脆利落。

在本文中我們會(huì)生成一個(gè)圖表示，該圖表示可以捕獲拓?fù)淇臻g內(nèi)的數(shù)據(jù)屬性(通過頂點(diǎn)和關(guān)系來實(shí)現(xiàn))。如果我們用單一層的嵌入來完成上述任務(wù)的話（典型的是用全連接層嵌入），那么所構(gòu)建的圖表示的內(nèi)容會(huì)非常干澀，因?yàn)檫@種方式其實(shí)只選取了激活神經(jīng)元集合中的很少的子集，相對(duì)于深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的所有數(shù)據(jù)模式而言，其丟失了絕大多數(shù)的信息。為了確保所構(gòu)建的圖表示內(nèi)涵足夠豐富，且能支持網(wǎng)絡(luò)分析算法在其上做進(jìn)一步處理，我們這里在構(gòu)建圖表示時(shí)使用了整個(gè)網(wǎng)絡(luò)的嵌入，包含了CNN中的所有卷積層和全連接層。在前述條件下，網(wǎng)絡(luò)的嵌入空間足夠大，從而生成的圖表示會(huì)更大、內(nèi)涵更豐富。

下一部分我們會(huì)簡要的介紹全網(wǎng)絡(luò)嵌入，并在本部分的結(jié)尾給出我們?nèi)绾伟亚度肟臻g映射到拓?fù)淇臻g，生成圖表示。

全網(wǎng)絡(luò)嵌入

全網(wǎng)絡(luò)嵌入(FNE: Full Network Embedding)會(huì)對(duì)網(wǎng)絡(luò)的輸入數(shù)據(jù)實(shí)例生成相對(duì)應(yīng)的特征表示，該特征表示是通過捕獲卷積神經(jīng)網(wǎng)絡(luò)中每一個(gè)卷積層和全連接層的激活值構(gòu)成。為了把每一層所找到的特征集成一體，F(xiàn)NE涵蓋了一系列的處理步驟，整個(gè)處理過程如圖1所示。

在抽取到每一層的激活值之后，F(xiàn)NE對(duì)卷積層的激活輸出做了空間均值池化操作。通過該操作之后，每一個(gè)卷積層的神經(jīng)元就可以輸出嵌入空間里的單一標(biāo)量值（全連接層也是同樣的道理）。經(jīng)過空間池化之后，F(xiàn)NE還進(jìn)行了一個(gè)特征標(biāo)準(zhǔn)化操作。這一步變換的主要目的就是要使得不同神經(jīng)元輸出的標(biāo)量值標(biāo)準(zhǔn)化，從而使得每一個(gè)神經(jīng)元的激活值都有一個(gè)統(tǒng)一的值域范圍，而不再關(guān)注其來源于CNN的哪一層。如果不做標(biāo)準(zhǔn)化的話，靠近網(wǎng)絡(luò)輸出層的向量表示將會(huì)主導(dǎo)整個(gè)嵌入表示，因?yàn)槠浼せ詈蟮臋?quán)值比較大，在嵌入向量空間里面占比較高。

最后，F(xiàn)NE把所抽取到的特征進(jìn)行離散化，把所有的特征值都映射到[-1, 0, 1]三元數(shù)值中去。這一操作可以減少噪音，修正嵌入空間。在FNE中，離散操作是通過閾值元組(-0.25, 0.15)來實(shí)現(xiàn)的。對(duì)于任意給定的輸入數(shù)據(jù)而言，該元組決定了特征出現(xiàn)與否(1表示特征激活值很高，-1表示特征激活值很低)。在我們的實(shí)驗(yàn)中，我們按實(shí)際需要設(shè)定的閾值元組為(-2.0, 2.0)來控制圖的稀疏度適中，從而方便網(wǎng)絡(luò)分析算法的應(yīng)用。

圖表示法

FNE對(duì)每一個(gè)輸入數(shù)據(jù)都生成了向量表示，其特征值取值為-1、0或1。這些值代表了特定神經(jīng)元對(duì)輸入數(shù)據(jù)過濾之后的相關(guān)性，-1意味著特征未出現(xiàn)、0代表特征無關(guān)、1代表特征出現(xiàn)。在本文中，我們會(huì)基于這些嵌入的特征表征來構(gòu)建拓?fù)鋱D，并且使用相關(guān)算法來挖掘圖中數(shù)據(jù)實(shí)例與數(shù)據(jù)實(shí)例之間的關(guān)系，從而尋找到拓?fù)鋱D中所編碼的一些隱藏內(nèi)部信息。

頂點(diǎn)

數(shù)據(jù)實(shí)例和特征構(gòu)成的邊

特征與特征之間連成邊

實(shí)證分析

為了評(píng)估深度嵌入空間的圖表示法，我們的模型架構(gòu)為VGG16CNN(詳情可以參考文獻(xiàn)21)，并且在ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練。在預(yù)訓(xùn)練的模型上，我們依次處理了以下四個(gè)不同的數(shù)據(jù)集。數(shù)據(jù)集的詳細(xì)介紹請(qǐng)參見表1：

? MIT室內(nèi)景觀識(shí)別數(shù)據(jù)集，該數(shù)據(jù)集包含67類不同的室內(nèi)景觀；

? Oxford花類數(shù)據(jù)集，包含102類不同的花；

? 可描述的紋理數(shù)據(jù)集，該數(shù)據(jù)集的紋理可以分為47中類目；

? Oulu Knots數(shù)據(jù)集，該數(shù)據(jù)集是一系列來源于杉樹林的樹木結(jié)圖片，類別按照Nordic Standards進(jìn)行劃分。

對(duì)于這些數(shù)據(jù)集中的每一張圖片，我們都會(huì)獲取其全網(wǎng)絡(luò)嵌入表示。在VGG16架構(gòu)下，經(jīng)嵌入之后我們得到包含12416個(gè)特征向量，并基于這些向量來構(gòu)建數(shù)據(jù)實(shí)例的圖表示。

為了探索圖表示的內(nèi)在隱含信息，我們對(duì)圖表示應(yīng)用社區(qū)發(fā)現(xiàn)算法(Fluid Communities (FluidC) algorithm)。我們之所以選擇這個(gè)算法，主要有三方面原因：其一是因?yàn)樵撍惴ㄊ腔谟行?biāo)簽傳播方法，性能上優(yōu)于傳統(tǒng)的LPA算法；其二該方法還能允許我們指定聚類類別數(shù)目；其三該方法經(jīng)過少量變更就可以適用于我們的實(shí)驗(yàn)環(huán)境。由于圖是由數(shù)據(jù)實(shí)例和特征構(gòu)成，但是只有數(shù)據(jù)實(shí)例才有標(biāo)簽，特征不存在標(biāo)簽，聚類效果的評(píng)價(jià)只能在數(shù)據(jù)實(shí)例頂點(diǎn)上實(shí)現(xiàn)。因此我們必須確保社區(qū)發(fā)現(xiàn)算法所挖掘出來的“社區(qū)”至少包含一個(gè)數(shù)據(jù)實(shí)例頂點(diǎn)。要實(shí)現(xiàn)這個(gè)需求，我們必須對(duì)FluidC算法進(jìn)行修改，強(qiáng)制使其按照數(shù)據(jù)實(shí)例頂點(diǎn)來進(jìn)行“社區(qū)”的初始化。

通過算法所挖掘的類簇，與原有數(shù)據(jù)集的標(biāo)簽進(jìn)行相似度計(jì)算，來評(píng)價(jià)算法的有效性。我們使用NMI和AMI兩種方法來衡量最終的結(jié)果。對(duì)每一個(gè)數(shù)據(jù)集所做的實(shí)驗(yàn)結(jié)果匯總?cè)鐖D2所示。

所有的實(shí)驗(yàn)都是在ImageNet2012上進(jìn)行預(yù)訓(xùn)練，然后使用VGG16模型進(jìn)行嵌入來完成，實(shí)驗(yàn)結(jié)果可以在網(wǎng)上免費(fèi)獲取，其中特征抽取過程是用Caffe來實(shí)現(xiàn)。圖算法的實(shí)現(xiàn)是用NetworkX v2.0里面的FluidC。

相關(guān)研究

圖和深度神經(jīng)網(wǎng)絡(luò)的相關(guān)性已經(jīng)有前人進(jìn)行了研究，不過大多數(shù)研究都是從不同的角度來展開。不同于大多數(shù)研究來訓(xùn)練DNN來處理圖數(shù)據(jù)，本文所提出的方法是把CNN進(jìn)行圖像嵌入的過程進(jìn)行圖表示。舉例來說，DeepWalk使用圖內(nèi)的隨機(jī)漫步，把獲取的結(jié)果送入SkipGram模型，然后評(píng)估社區(qū)發(fā)現(xiàn)算法在這些圖上的效果。和DeepWalk類似，Cao et al的研究也是把處理圖的結(jié)果作為輸入，不同的是其使用了有權(quán)圖上的概率性方法來獲取圖，并將其送入自編碼器。而我們的研究是在圖片數(shù)據(jù)集上使用社區(qū)發(fā)現(xiàn)算法，就我們所知，目前還沒有人進(jìn)行相似的研究。

結(jié)論

如何基于深度卷積神經(jīng)網(wǎng)絡(luò)的嵌入來構(gòu)建圖表示法，本文所提出的方法只是第一步。我們?cè)敿?xì)給出了如何構(gòu)建包含了圖片和特征的圖表示，如何用拓?fù)浣Y(jié)構(gòu)表現(xiàn)圖片和特征之間的關(guān)系，以及特征與特征之間的關(guān)系。通過這些工作，深度學(xué)習(xí)模型所獲取的知識(shí)表示能夠方便的供其他算法進(jìn)行進(jìn)一步處理。

實(shí)驗(yàn)結(jié)果非常振奮人心，像FluidC這樣的基于拓?fù)浣Y(jié)構(gòu)的算法完全有能力從空間拓?fù)湫畔⒅凶R(shí)別出圖片的類別。聚類結(jié)果可以通過網(wǎng)絡(luò)解析工具來搜索，和基于傳統(tǒng)的運(yùn)行于向量空間的算法(如KMeans)大為不同。實(shí)際上，深度的分析可以看出，F(xiàn)luidC算法能夠利用頂點(diǎn)之間的路徑來聚類，因此能夠聚合圖內(nèi)所有可能的路徑信息，而以KMeans為代表的基于距離的方法就不能這種信息。如果考慮到運(yùn)行其他不同類型的算法，那么本文所提出的方法就非常有意義，因?yàn)樗_啟了利用和復(fù)用預(yù)先訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)嵌入結(jié)果，來進(jìn)行機(jī)器學(xué)習(xí)的新大門。在更好的理解深度表征的道路上，我們只是邁出了一小步，如何利用經(jīng)過神經(jīng)網(wǎng)絡(luò)所編碼的知識(shí)進(jìn)行更加廣泛開放的研究，需要投入更多的研究力量。

未來展望

本文所展示的實(shí)驗(yàn)更多是探索性的，用于驗(yàn)證深度向量嵌入用圖來表示的可行性。客觀理性的說，把本文中所提出的方法和其他一些替代性方法比較，如與基于向量的聚類方法比較，其結(jié)果還是讓人滿意的。然而聚類結(jié)果的評(píng)價(jià)一直都是有爭議的話題，因?yàn)榫垲惤Y(jié)果并不是唯一的，也許有其他維度給出完全不同的聚類結(jié)果。

對(duì)本文提出的方法的更有意義的評(píng)價(jià)是看圖所能捕獲到的語義信息。為了這樣的設(shè)想，我們考慮擴(kuò)展模型，讓其包含一些有向有權(quán)邊，以及本體關(guān)系。一旦實(shí)現(xiàn)這樣的目的，我們就可以在這樣的圖表示法之上進(jìn)行一些推理方法，從而評(píng)價(jià)圖表示法所捕獲到的語義信息的豐富程度和有用性。

參考文獻(xiàn)

[1] Azizpour, H., A. S. Razavian, J. Sullivan, A. Maki, and S. Carlsson (2016). Factors of transferability for a generic convnet representation. IEEE Transactions on Pattern Analysis and Machine Intelligence 38(9), 1790–1802.

[2] Branson, S., G. Van Horn, S. Belongie, and P. Perona (2014). Bird species categorization using pose normalized deep convolutional nets. arXiv preprint arXiv:1406.2952.

[3] Cao, S., W. Lu, and Q. Xu (2016). Deep neural networks for learning graph representations. In AAAI, pp. 1145–1152.

[4] Cimpoi, M., S. Maji, I. Kokkinos, S. Mohamed, and A. Vedaldi (2014). Describing textures in the wild. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 3606–3613.

[5] Donahue, J., Y. Jia, O. Vinyals, J. Hoffman, N. Zhang, E. Tzeng, and T. Darrell (2014). Decaf: A deep convolutional activation feature for generic visual recognition. In Icml, Volume 32, pp. 647–655.

[6] Garcia-Gasulla, D., F. Par′es, A. Vilalta, J. Moreno, E. Ayguad′e, J. Labarta, U. Cort′es, and T. Suzumura (2017). On the behavior of convolutional nets for feature extraction. arXiv preprint arXiv:1703.01127.

[7] Garcia-Gasulla, D., A. Vilalta, F. Par′es, J. Moreno, E. Ayguad′e, J. Labarta, U. Cort′es, and T. Suzumura (2017). An out-of-the-box full-network embedding for convolutional neural networks. arXiv preprint arXiv:1705.07706.

[8] Ge, W. and Y. Yu (2017). Borrowing treasures from the wealthy: Deep transfer learning through selective joint fine-tuning. arXiv preprint arXiv:1702.08690.

[9] Gong, Y., L. Wang, R. Guo, and S. Lazebnik (2014). Multi-scale orderless pooling of deep convolutional activation features. In European conference on computer vision, pp. 392–407. Springer.

[10] Liu, C., Y. Cao, Y. Luo, G. Chen, V. Vokkarane, and Y. Ma (2016). Deepfood: Deep learning-based food image recognition for computer-aided dietary assessment. In International Conference on Smart Homes and Health Telematics, pp. 37–48. Springer.

[11] Mousavian, A. and J. Kosecka (2015). Deep convolutional features for image based retrieval and scene categorization. arXiv preprint arXiv:1509.06033.

[12] Nilsback, M.-E. and A. Zisserman (2008). Automated flower classification over a large number of classes. In Computer Vision, Graphics & Image Processing, 2008. ICVGIP’08. Sixth Indian Conference on, pp. 722–729. IEEE.

[13] Par′es, F., D. Garcia-Gasulla, A. Vilalta, J. Moreno, E. Ayguad′e, J. Labarta, U. Cort′es, and T. Suzumura (2017). Fluid communities: A community detection algorithm. arXiv preprint arXiv:1703.09307.

[14] Perozzi, B., R. Al-Rfou, and S. Skiena (2014). Deepwalk: Online learning of social representations. In Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 701–710. ACM.

[15] Quattoni, A. and A. Torralba (2009). Recognizing indoor scenes. In Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on, pp. 413–420. IEEE.

[16] Ren, R., T. Hung, and K. C. Tan (2017). A generic deep-learning-based approach for automated surface inspection. IEEE Transactions on Cybernetics.

[17] Russakovsky, O., J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, et al. (2015). Imagenet large scale visual recognition challenge. International Journal of Computer Vision 115(3), 211–252.

[18] Sharif Razavian, A., H. Azizpour, J. Sullivan, and S. Carlsson (2014). Cnn features off-the-shelf: an astounding baseline for recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, pp. 806–813.

[19] Silv′en, O., M. Niskanen, and H. Kauppinen (2003). Wood inspection with non-supervised clustering. Machine Vision and Applications 13(5), 275–285.

[20] Simon, M. and E. Rodner (2015). Neural activation constellations: Unsupervised part model discovery with convolutional networks. In Proceedings of the IEEE International Conference on Computer Vision, pp. 1143–1151.

[21] Simonyan, K. and A. Zisserman (2014). Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556.

[22] Xu, Z., S. Huang, Y. Zhang, and D. Tao (2015). Augmenting strong supervision using web data for fine-grained categorization. In Proceedings of the IEEE International Conference on Computer Vision, pp. 2524–2532.