摘要：摘要背景深度學(xué)習(xí)是一種表示學(xué)習(xí)方法，非常適合用來(lái)處理數(shù)字病理學(xué)中的圖像分析問題。優(yōu)質(zhì)的注釋樣本是深度學(xué)習(xí)重要的先決條件，但是處理數(shù)字病理學(xué)中最大的挑戰(zhàn)就是獲取高質(zhì)量的注釋樣本。本文使用的深度學(xué)習(xí)主要由四個(gè)模塊組成。

Deep learning for digital pathology image analysis: A comprehensive tutorial with selected use cases

Andrew Janowczyk, Anant Madabhushi

背景： 深度學(xué)習(xí)（deep learning, DL）是一種表示學(xué)習(xí)方法，非常適合用來(lái)處理數(shù)字病理學(xué)（digital pathology, DP）中的圖像分析問題。DP中有各種圖像分析任務(wù)，包括檢測(cè)和計(jì)數(shù)（例如有絲分裂）、分割（例如細(xì)胞核）、組織分類（例如癌/非癌）等等。但是由于產(chǎn)生數(shù)字病理學(xué)圖像的過程（制片、著色、掃描）和供應(yīng)商平臺(tái)的不統(tǒng)一，以及生物差異（如不同等級(jí)疾病有不同表現(xiàn)），DP中的圖像分析任務(wù)特別具有挑戰(zhàn)性。傳統(tǒng)方法在特定領(lǐng)域人為設(shè)計(jì)任務(wù)相關(guān)的handcrafted特征，這需要大量的微調(diào)以適應(yīng)這些差異；而深度學(xué)習(xí)是一種相對(duì)來(lái)說(shuō)領(lǐng)域無(wú)關(guān)的方法，它將特征的發(fā)現(xiàn)與實(shí)現(xiàn)相結(jié)合，最大化感興趣的類別間的差異。雖然DL在部分DP圖像分析任務(wù)中表現(xiàn)優(yōu)異，但是當(dāng)前并沒有開源的工具或教程提供這方面的指導(dǎo)，比如：(a)選擇合適的放大倍數(shù)，(b)控制訓(xùn)練集中的注釋錯(cuò)誤，(c)確定一個(gè)合適的包含豐富信息樣本的訓(xùn)練集，這些是將DL成功應(yīng)用于DP任務(wù)中所必須的基本概念。
目標(biāo)： 本文有7個(gè)獨(dú)立的DP任務(wù)，用來(lái)探索DL應(yīng)用于不同DP領(lǐng)域所需要的技巧。
結(jié)果： 本文展示了如何使用深度學(xué)習(xí)解決以下問題：
● (a)細(xì)胞核分割（nuclei segmentation），F(xiàn)?score of 0.83 across 12,000 nuclei
● (b)上皮細(xì)胞分割（epithelium segmentation），F(xiàn)?score of 0.84 across 1735 regions
● (c)細(xì)管分割（tubule segmentation），F(xiàn)?score of 0.83 from 795 tubules
● (d)淋巴細(xì)胞檢測(cè)（lymphocyte detection），F(xiàn)?score of 0.90 across 3064 lymphocytes
● (e)有絲分裂檢測(cè)（mitosis detection），F(xiàn)?score of 0.53 across 550 mitotic events
● (f)浸潤(rùn)性導(dǎo)管癌檢測(cè)（invasive ductal carcinoma detection），F(xiàn)?score of 0.7648 on 50 k testing patches
● (g)淋巴瘤分類（lymphoma classification），classification?accuracy?of?0.97?across 374 images
結(jié)論： 本文對(duì)深度學(xué)習(xí)方法在數(shù)字病理學(xué)領(lǐng)域的應(yīng)用進(jìn)行了迄今為止最大范圍的綜合研究，在評(píng)估中使用了超過1200張數(shù)字病理學(xué)圖像。

數(shù)字病理學(xué)（digital pathology, DP）是指將組織切片數(shù)字化，以生成高分辨率的圖像，這樣就可以使用圖像分析技術(shù)來(lái)處理DP領(lǐng)域中的檢測(cè)、分割、分類等任務(wù)。很多DP領(lǐng)域的圖像分析都涉及到量化（如細(xì)胞或有絲分裂計(jì)數(shù)）或者組織分級(jí)（分類）。如圖1中所示，這些任務(wù)都需要識(shí)別組織基元（histologic primitive），例如細(xì)胞核、有絲分裂、細(xì)管、上皮組織細(xì)胞等。

現(xiàn)有方法主要有兩個(gè)缺點(diǎn)：(1)任務(wù)相關(guān)方法的開發(fā)需要很長(zhǎng)時(shí)間的研究及開發(fā)周期，對(duì)某個(gè)特定數(shù)據(jù)集性能良好的處理參數(shù)一般不能直接應(yīng)用于另一個(gè)獨(dú)立的數(shù)據(jù)集，還需要額外的參數(shù)進(jìn)行調(diào)整；(2)如何尋找或調(diào)整最優(yōu)參數(shù)一般只能依靠算法的開發(fā)者，對(duì)其他人來(lái)說(shuō)無(wú)法直觀理解。深度學(xué)習(xí)沒有任務(wù)或者數(shù)據(jù)相關(guān)的先驗(yàn)假設(shè)，完全由數(shù)據(jù)驅(qū)動(dòng)生成合適的特征空間，這是DL的關(guān)鍵特性，使得訓(xùn)練得到的特征可以泛化應(yīng)用到其他獨(dú)立的測(cè)試集上。

表1展示了本文處理的7個(gè)任務(wù)。

分割任務(wù)要描繪出組織基元（例如細(xì)胞核、有絲分裂、細(xì)管、浸潤(rùn)性導(dǎo)管癌IDC）的精確邊界，所以需要提取精確的形態(tài)特征。檢測(cè)任務(wù)（例如檢測(cè)淋巴細(xì)胞和有絲分裂）一般只是確定基元的中心而不需要描繪出輪廓，所以分割要比檢測(cè)更具有挑戰(zhàn)性，尤其是基元存在多個(gè)可能形態(tài)時(shí)。

本文處理的另一類實(shí)例屬于組織級(jí)別分類。使用DL方法可以直接學(xué)習(xí)到組織類別的特征表示，而不需要定義單個(gè)組織基元以通過相關(guān)組織基元的特定特征來(lái)進(jìn)行預(yù)測(cè)。DL的方法不需要定義基元，在不了解相關(guān)領(lǐng)域的基元的前提下也可以直接對(duì)組織類別進(jìn)行預(yù)測(cè)。DL方法只需要標(biāo)示了類別的圖像塊（patch）就可以學(xué)習(xí)到具有較強(qiáng)類別區(qū)分性的表示。

優(yōu)質(zhì)的注釋樣本是深度學(xué)習(xí)重要的先決條件，但是處理數(shù)字病理學(xué)中最大的挑戰(zhàn)就是獲取高質(zhì)量的注釋樣本。有文章顯示在組織分類器的在更高分辨率上會(huì)發(fā)生退化，主要是因?yàn)獒t(yī)學(xué)專家注釋的并沒有那么精細(xì)（圖5是一種類似情況）。

病理學(xué)家一般不會(huì)耗費(fèi)精力來(lái)標(biāo)注高分辨率病理圖像，所以(a)很少有精確到像素級(jí)的標(biāo)注；(b)一般標(biāo)注較低分辨率圖像；(c)標(biāo)注樣本包含大量的假陽(yáng)/陰區(qū)域。

本文使用的深度學(xué)習(xí)主要由四個(gè)模塊組成。
Casting
設(shè)計(jì)一個(gè)適當(dāng)?shù)木W(wǎng)絡(luò)一般需要確定很多問題，比如：輸入圖像塊的尺寸、網(wǎng)絡(luò)層的數(shù)量、卷積的屬性等。本文使用現(xiàn)有的AlexNet，因?yàn)榘l(fā)現(xiàn)一個(gè)成功的網(wǎng)絡(luò)架構(gòu)也是比較困難的，本文實(shí)現(xiàn)框架為Caffe。
Patch generation
一旦確定了網(wǎng)絡(luò)結(jié)構(gòu)，那么輸入尺寸也就確定了，接下來(lái)就是生成圖像塊來(lái)構(gòu)成訓(xùn)練/驗(yàn)證集。這個(gè)階段需要一定的相關(guān)領(lǐng)域知識(shí)，以確定生成的訓(xùn)練集包含多樣性的表示。本文選定的網(wǎng)絡(luò)性能一般，雖然可以減輕過擬合的問題，但樣本的選取會(huì)很大程度的影響最終的效果。這個(gè)問題在病理學(xué)領(lǐng)域尤為顯著，因?yàn)橥活悇e中也存在很大的差異。
Training
使用固定batch size的隨機(jī)梯度下降（SGD）方法，(a)將預(yù)處理的圖像塊輸入網(wǎng)絡(luò)；(b)計(jì)算誤差導(dǎo)數(shù)；(c)反向傳播更新網(wǎng)絡(luò)參數(shù)。學(xué)習(xí)率隨訓(xùn)練時(shí)間減小，以確定收斂到局部最小。保存訓(xùn)練得到的參數(shù)（也就是模型）用于測(cè)試。
Testing
使用訓(xùn)練好的模型對(duì)測(cè)試集數(shù)據(jù)進(jìn)行預(yù)測(cè)。

Convolutional layer 略
Pooling layer 略
Inner product (fully connected) 略
Activation layer 略
Dropout layer 略
Softmax layer 略
網(wǎng)絡(luò)結(jié)構(gòu)見表2，超參數(shù)設(shè)置見表3，輸入圖像尺寸為32x32。

注：對(duì)于文中醫(yī)學(xué)相關(guān)的名詞翻譯可能不準(zhǔn)確，如有異議請(qǐng)指正。