摘要：折交叉驗證集，每折包含約張訓(xùn)練圖像和張測試圖像，正樣本邊界負樣本其他負樣本，訓(xùn)練集中共圖像塊。浸潤性導(dǎo)管癌是乳腺癌中最長出現(xiàn)的亞種。

Deep learning for digital pathology image analysis: A comprehensive tutorial with selected use cases
Andrew Janowczyk, Anant Madabhushi

本文共考察了7個數(shù)字病理學(xué)的實例，具體見表1。

Challenge
細胞核形態(tài)是多數(shù)癌癥定級中重要的依據(jù)，所以需要進行細胞核分割。近期研究發(fā)現(xiàn)檢測細胞核的技術(shù)趨于成熟，
但是發(fā)現(xiàn)它們的精確邊界或者分離開有重疊區(qū)域的細胞核還是比較困難。生成訓(xùn)練圖像塊也要注意，一般用標(biāo)識好的圖像生成二值掩碼，然后從正/負區(qū)域隨機剪切產(chǎn)生正/負樣本，但是負樣本中可能包含未標(biāo)記的正樣本區(qū)域。
Patch selection technique
圖像塊選取的一種標(biāo)準方法是在正樣本掩碼區(qū)域選取正樣本，在負樣本掩碼區(qū)域使用閾值化的color-deconvolved圖像選取負樣本（如圖2所示）。這主要是依據(jù)非細胞核區(qū)域很少吸收染色劑的原理。圖2顯示了這種方法提取的樣本所屬類別都是正確的，但是負樣本（圖2a）對于訓(xùn)練該任務(wù)網(wǎng)絡(luò)不會提供太多有用信息。結(jié)果（圖3d）顯示用上述方法選取的樣本訓(xùn)練的模型性能并不好，無法描繪出細胞核的正確輪廓，這是因為在訓(xùn)練集中沒有強調(diào)邊界信息。

本文在上述方法的基礎(chǔ)上進行改進，選取更多更有挑戰(zhàn)性的負樣本以增強訓(xùn)練集中的邊界信息。圖3a展示了一張示例圖像，圖3b是其掩碼圖像，需要注意的是只有部分細胞核被標(biāo)識，使用為改進的樣本選取方法所獲得的訓(xùn)練集來訓(xùn)練模型的預(yù)測結(jié)果如圖3d所示，可以看到網(wǎng)絡(luò)沒有準確確定出細胞核邊界。為了增強邊界信息，使用形態(tài)學(xué)方法處理圖3b中所示掩碼圖像，得到如圖3c中所示的邊界掩碼圖像。依據(jù)圖3c掩碼圖像選取負樣本（如圖2c所示），這些樣本與正樣本相似，所以學(xué)習(xí)難度提升。另外也保留一定比例的圖2a樣式的負樣本，以確保這部分樣本在訓(xùn)練集中也有很好的表示。使用改進方法選取的樣本所訓(xùn)練的模型的預(yù)測結(jié)果見圖3e，可以看出模型對邊界的確認更準確。

Results and Discussions
5折交叉驗證集，每折包含約100張訓(xùn)練圖像和28張測試圖像，正樣本:邊界負樣本:其他負樣本=1:1:0.3，訓(xùn)練集中共130k圖像塊，在20倍和40倍分辨率上進行度量，使用的度量方法有F-score、true positive rate (TPR)、positive predictive value (PPV)，DL生成的概率圖0.5閾值化后得到二值結(jié)果。
定性來看，圖4顯示了一個可視化結(jié)果，可以看出網(wǎng)絡(luò)在40倍分辨率上的邊界比在20倍上更加準確。

定量來看，從表4中可以看出，網(wǎng)絡(luò)在40倍分辨率上的各項度量指標(biāo)都優(yōu)于20倍。Dropout在這個實例上存在消極影響。

Challenge
癌細胞一般出現(xiàn)在上皮組織，而基質(zhì)的組織模式有助于預(yù)測乳腺癌患者的生存期，所以上皮組織-基質(zhì)（epithelium-stroma）分離就尤為重要。但是該任務(wù)一般不太明確，因為標(biāo)記數(shù)據(jù)比較抽象并且都是低放大倍數(shù)，圖5顯示了標(biāo)記和預(yù)測的對比，這種差異使得訓(xùn)練和評估都更加困難，本文也考慮用額外的專家評價指標(biāo)來評估結(jié)果。

Patch selection technique
首先確定放大倍數(shù)，基本的原則是相應(yīng)分辨率的圖像塊中有足夠的環(huán)境信息，人類專家可以做出正確的判斷，所以要根據(jù)先驗知識來確定合適的放大倍數(shù)。本文使用10倍放大倍數(shù)，如果網(wǎng)絡(luò)接受的輸入尺寸較大，可能需要更高的放大倍數(shù)。首先在灰度圖使用0.8閾值去除脂肪或背景區(qū)域，不在這些區(qū)域選取訓(xùn)練樣本，然后使用上節(jié)的改進方法提取樣本。
Results and Discussion
5折交叉驗證集，每折包含約34張訓(xùn)練圖像和8張測試圖像，正樣本:邊界負樣本:其他負樣本=5:5:1.5，訓(xùn)練集中共765k圖像塊。
定量分析結(jié)果如表5，使用F-score作為度量指標(biāo)。在度量之前(a)閾值化去掉背景區(qū)域(b)去除面積<300的區(qū)域。

定性來看，病理學(xué)家將這個任務(wù)視為更高等級的抽象，而并不是像素級的分類，如圖5所示。病理學(xué)家一般不會將背景分離標(biāo)識出來，有時也會忽略掉小區(qū)域。

Challenge
細管的形態(tài)可以體現(xiàn)癌癥的侵略性，癌癥后期病人的細管形態(tài)逐漸呈無組織狀態(tài)，如圖6所示。識別和分割細管有兩個方面用處：(a)自動進行面積估算，減少inter-/intra-reader差異；(b)提供更大的特異性，可能更好的制訂預(yù)后指標(biāo)。

細管被認為是迄今為止發(fā)現(xiàn)的最復(fù)雜的結(jié)構(gòu)，它包含多種成分（如細胞核、上皮組織、內(nèi)腔），這些組成成分的組織結(jié)構(gòu)確定了細管的邊界。不同階段的癌癥不同的潛在侵略性的細管的形態(tài)有很大差異。良性（如圖6a）整體有組織性，每個細管的尺寸和形態(tài)特征比較相似，比較容易進行分割；但患癌（如圖6c）時細管就沒有組織性，也不容易精確確定它們的邊界。另外細管整體比其中的組成成分要大得多，所以需要在更大的視野中進行觀察以保證有足夠的環(huán)境信息來確保評估的準確性。
Patch selection technique
引入一種經(jīng)濟的預(yù)處理方法來確定較難訓(xùn)練的圖像塊，使用這些樣本可以增加信息和多樣性。首先在每張圖像中隨機選取一些像素點（如15000個）作為訓(xùn)練集，這些像素點應(yīng)該覆蓋所有類別，并計算一些簡單的紋理特征（如對比度、相關(guān)性、能量、同質(zhì)性等）；然后使用樸素貝葉斯分類器來確定同一張圖像中所有像素點的類別。經(jīng)過上述處理，可以確定哪些像素點可能容易判斷錯誤（假陽/陰），選取這些像素點可以增加樣本的表示能力。可以根據(jù)誤分類像素的置信度來選取，例如偏向于選取預(yù)測概率趨向于1的假陽樣本。這種方法不需要相關(guān)領(lǐng)域的知識，能很好的去除重要性低的樣本。
良性組織中的細管要比患癌的更容易分割，那么不均衡的多選患癌樣本可以提高模型的泛化性能。
Results and Discussion
5折交叉驗證集，每折包含約21張訓(xùn)練圖像和5張測試圖像，惡性樣本數(shù)量是良性的2倍，并且包含一些旋轉(zhuǎn)處理（180、270）的惡性樣本，共320k個訓(xùn)練圖像塊。閾值0.5時的平均F-score為0.827±0.05，使用最優(yōu)閾值時0.836±0.05。

Challenge
浸潤性導(dǎo)管癌（Invasive Ductal Carcinoma, IDC）是乳腺癌中最長出現(xiàn)的亞種。病理學(xué)家一般都是根據(jù)包含IDC區(qū)域的組織狀態(tài)來判斷侵略性等級，所以對侵略性定級的一個常見的預(yù)處理就是提取包含IDC的區(qū)域。
Patch selection technique
使用已有的數(shù)據(jù)集，將放大倍率40的原圖像降采樣1/16，以提供更豐富的環(huán)境信息，圖像塊尺寸為50x50，本文網(wǎng)絡(luò)輸入尺寸32x32，分別做以下不同處理：
Resizing：直接將50x50的圖像縮放為32x32。
Cropping：剪切50x50圖像的中心32x32區(qū)域。
Cropping+additional rotations：為了解決數(shù)據(jù)不均衡問題，將正樣本進行旋轉(zhuǎn)增加數(shù)量，最終正負樣本數(shù)量基本一致。
Results and Discussion
圖7顯示了不同處理方式對訓(xùn)練模型的影響。

表6定量評估了不同樣本處理方式的影響。值得注意的是resizing的性能是最好的，cropping可能是因為損失了部分環(huán)境信息，另外dropout對泛化性能并沒有提升，數(shù)據(jù)均衡處理也沒有明顯效果。

注：對于文中醫(yī)學(xué)相關(guān)的名詞翻譯可能不準確，如有異議請指正。