摘要：這篇就介紹利用生成式對抗網絡的兩個基本駕駛技能去除愛情動作片中的馬賽克給愛情動作片中的女孩穿衣服生成式模型上一篇用生成二維樣本的小例子中已經簡單介紹了，這篇再簡要回顧一下生成式模型，算是補全一個來龍去脈。

作為一名久經片場的老司機，早就想寫一些探討駕駛技術的文章。這篇就介紹利用生成式對抗網絡（GAN）的兩個基本駕駛技能：

1) 去除(愛情)動作片中的馬賽克

2) 給(愛情)動作片中的女孩穿(tuo)衣服

生成式模型

上一篇《用GAN生成二維樣本的小例子》中已經簡單介紹了GAN，這篇再簡要回顧一下生成式模型，算是補全一個來龍去脈。

生成模型就是能夠產生指定分布數據的模型，常見的生成式模型一般都會有一個用于產生樣本的簡單分布。例如一個均勻分布，根據要生成分布的概率密度函數，進行建模，讓均勻分布中的樣本經過變換得到指定分布的樣本，這就可以算是最簡單的生成式模型。比如下面例子：

圖中左邊是一個自定義的概率密度函數，右邊是相應的1w個樣本的直方圖，自定義分布和生成這些樣本的代碼如下：

from functools import partial

import numpy

from matplotlib import pyplot

# Define a PDF

x_samples = numpy.arange(-3, 3.01, 0.01)

PDF = numpy.empty(x_samples.shape)

PDF[x_samples < 0] = numpy.round(x_samples[x_samples < 0] + 3.5) / 3

PDF[x_samples >= 0] = 0.5 * numpy.cos(numpy.pi * x_samples[x_samples >= 0]) + 0.5

PDF /= numpy.sum(PDF)

# Calculate approximated CDF

CDF = numpy.empty(PDF.shape)

cumulated = 0

for i in range(CDF.shape[0]):

? ? cumulated += PDF[i]

? ? CDF[i] = cumulated

# Generate samples

generate = partial(numpy.interp, xp=CDF, fp=x_samples)

u_rv = numpy.random.random(10000)

x = generate(u_rv)

# Visualization

fig, (ax0, ax1) = pyplot.subplots(ncols=2, figsize=(9, 4))

ax0.plot(x_samples, PDF)

ax0.axis([-3.5, 3.5, 0, numpy.max(PDF)*1.1])

ax1.hist(x, 100)

pyplot.show()

對于一些簡單的情況，我們會假設已知有模型可以很好的對分布進行建模，缺少的只是合適的參數。這時候很自然只要根據觀測到的樣本，學習參數讓當前觀測到的樣本下的似然函數較大，這就是較大似然估計(Maximum Likelihood Estimation)：

MLE是一個最基本的思路，實踐中用得很多的還有KL散度(Kullback–Leibler divergence)，假設真實分布是P，采樣分布是Q，則KL散度為：

從公式也能看出來，KL散度描述的是兩個分布的差異程度。換個角度來看，讓產生的樣本和原始分布接近，也就是要讓這倆的差異減小，所以最小化KL散度就等同于MLE。從公式上來看的話，我們考慮把公式具體展開一下：

公式的第二項就是熵，先不管這項，用H(P)表示。接下來考慮一個小trick：從Q中抽樣n個樣本，來估算P(x)的經驗值(empirical density function)：

其中是狄拉克函數，把這項替換到上面公式的P(x)：

因為是離散的采樣值，所以中只有的時候狄拉克函數才為1，所以考慮時這項接化為1：

第一項正是似然的負對數形式。

說了些公式似乎跑得有點遠了，其實要表達還是那個簡單的意思：通過減小兩個分布的差異可以讓一個分布逼近另一個分布。仔細想想，這正是GAN里面adversarial loss的做法。

很多情況下我們面臨的是更為復雜的分布，比如上篇文章中的例子，又或是實際場景中更復雜的情況，比如生成不同人臉的圖像。這時候，作為具有universal approximation性質的神經網絡是一個看上去不錯的選擇[1]：

所以雖然GAN里面同時包含了生成網絡和判別網絡，但本質來說GAN的目的還是生成模型。從生成式模型的角度，Ian Goodfellow總結過一個和神經網絡相關生成式方法的“家譜”[1]：

在這其中，當下最流行的就是GAN和Variational AutoEncoder(VAE)，兩種方法的一個簡明示意如下[3]：

本篇不打算展開講什么是VAE，不過通過這個圖，和名字中的autoencoder也大概能知道，VAE中生成的loss是基于重建誤差的。而只基于重建誤差的圖像生成，都或多或少會有圖像模糊的缺點，因為誤差通常都是針對全局。比如基于MSE(Mean Squared Error)的方法用來生成超分辨率圖像，容易出現下面的情況[4]：

在這個二維示意中，真實數據分布在一個U形的流形上，而MSE系的方法因為loss的形式往往會得到一個接近平均值所在的位置（藍色框）。

GAN在這方面則完爆其他方法，因為目標分布在流形上。所以只要大概收斂了，就算生成的圖像都看不出是個啥，清晰度常常是有保證的，而這正是去除女優身上馬賽克的理想特性！

馬賽克->清晰畫面：超分辨率(Super Resolution)問題

說了好些鋪墊，終于要進入正題了。首先明確，去馬賽克其實是個圖像超分辨率問題，也就是如何在低分辨率圖像基礎上得到更高分辨率的圖像：

視頻中超分辨率實現的一個套路是通過不同幀的低分辨率畫面猜測超分辨率的畫面，有興趣了解這個思想的朋友可以參考我之前的一個答案：如何通過多幀影像進行超分辨率重構？?

不過基于多幀影像的方法對于女優身上的馬賽克并不是很適用，所以這篇要講的是基于單幀圖像的超分辨率方法。

SRGAN

說到基于GAN的超分辨率的方法，就不能不提到SRGAN[4]：《Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network》。這個工作的思路是：基于像素的MSE loss往往會得到大體正確，但是高頻成分模糊的結果。所以只要重建低頻成分的圖像內容，然后靠GAN來補全高頻的細節內容，就可以了：

這個思路其實和最早基于深度網絡的風格遷移的思路很像（有興趣的讀者可以參考我之前文章瞎談CNN：通過優化求解輸入圖像的最后一部分），其中重建內容的content loss是原始圖像和低分辨率圖像在VGG網絡中的各個ReLU層的激活值的差異：

生成細節adversarial loss就是GAN用來判別是原始圖還是生成圖的loss：

把這兩種loss放一起，取個名叫perceptual loss。訓練的網絡結構如下：

正是上篇文章中講過的C-GAN，條件C就是低分辨率的圖片。SRGAN生成的超分辨率圖像雖然PSNR等和原圖直接比較的傳統量化指標并不是較好，但就視覺效果，尤其是細節上，勝過其他方法很多。比如下面是作者對比bicubic插值和基于ResNet特征重建的超分辨率的結果：

可以看到雖然很多細節都和原始圖片不一樣，不過看上去很和諧，并且細節的豐富程度遠勝于SRResNet。這些栩栩如生的細節，可以看作是GAN根據學習到的分布信息“聯想”出來的。

對于更看重“看上去好看”的超分辨率應用，SRGAN顯然是很合適的。當然對于一些更看重重建指標的應用，比如超分辨率恢復嫌疑犯面部細節，SRGAN就不可以了。

pix2pix

雖然專門用了一節講SRGAN，但本文用的方法其實是pix2pix[5]。這項工作剛在arxiv上發布就引起了不小的關注，它巧妙的利用GAN的框架解決了通用的Image-to-Image translation的問題。舉例來說，在不改變分辨率的情況下：把照片變成油畫風格；把白天的照片變成晚上；用色塊對圖片進行分割或者倒過來；為黑白照片上色；…每個任務都有專門針對性的方法和相關研究，但其實總體來看，都是像素到像素的一種映射啊，其實可以看作是一個問題。這篇文章的巧妙，就在于提出了pix2pix的方法，一個框架，解決所有這些問題。方法的示意圖如下：

就是一個Conditional GAN，條件C是輸入的圖片。除了直接用C-GAN，這項工作還有兩個改進：

1）利用U-Net結構生成細節更好的圖片[6]

U-Net是德國Freiburg大學模式識別和圖像處理組提出的一種全卷積結構。和常見的先降采樣到低維度，再升采樣到原始分辨率的編解碼(Encoder-Decoder)結構的網絡相比，U-Net的區別是加入skip-connection，對應的feature maps和decode之后的同樣大小的feature maps按通道拼(concatenate)一起，用來保留不同分辨率下像素級的細節信息。U-Net對提升細節的效果非常明顯，下面是pix2pix文中給出的一個效果對比：

可以看到，各種不同尺度的信息都得到了很大程度的保留。

2）利用馬爾科夫性的判別器(PatchGAN)

pix2pix和SRGAN的一個異曲同工的地方是都有用重建解決低頻成分，用GAN解決高頻成分的想法。在pix2pix中，這個思想主要體現在兩個地方。一個是loss函數，加入了L1 loss用來讓生成的圖片和訓練的目標圖片盡量相似，而圖像中高頻的細節部分則交由GAN來處理：

還有一個就是PatchGAN，也就是具體的GAN中用來判別是否生成圖的方法。PatchGAN的思想是，既然GAN只負責處理低頻成分，那么判別器就沒必要以一整張圖作為輸入，只需要對NxN的一個圖像patch去進行判別就可以了。這也是為什么叫Markovian discriminator，因為在patch以外的部分認為和本patch互相獨立。

具體實現的時候，作者使用的是一個NxN輸入的全卷積小網絡，最后一層每個像素過sigmoid輸出為真的概率，然后用BCEloss計算得到最終loss。這樣做的好處是因為輸入的維度大大降低，所以參數量少，運算速度也比直接輸入一張快，并且可以計算任意大小的圖。作者對比了不同大小patch的結果，對于256x256的輸入，patch大小在70x70的時候，從視覺上看結果就和直接把整張圖片作為判別器輸入沒什么區別了：

生成帶局部馬賽克的訓練數據

利用pix2pix，只要準備好無碼和相應的有碼圖片就可以訓練去馬賽克的模型了，就是這么簡單。那么問題是，如何生成有馬賽克的圖片？

有毅力的話，可以手動加馬賽克，這樣更為精準。這節介紹一個不那么準，但是比隨機強的方法：利用分類模型的激活區域進行自動馬賽克標注。

基本思想是利用一個可以識別需要打碼圖像的分類模型，提取出這個模型中對應類的CAM（Class Activation Map）[7]，然后用馬賽克遮住響應較高的區域即可。這里簡單說一下什么是CAM，對于最后一層是全局池化(平均或較大都可以)的CNN結構，池化后的feature map相當于是做了個加權相加來計算最終的每個類別進入softmax之前的激活值。CAM的思路是，把這個權重在池化前的feature map上按像素加權相加，最后得到的單張的激活圖就可以攜帶激活當前類別的一些位置信息，這相當于一種弱監督（classification-->localization）：

上圖是一個CAM的示意，用澳洲梗類別的CAM，放大到原圖大小，可以看到小狗所在的區域大致是激活響應較高的區域。

那么就缺一個可以識別XXX圖片的模型了，網上還恰好就有個現成的，yahoo于2016年發布的開源色情圖片識別模型Open NSFW(Not Safe For Work)：

yahoo/open_nsfw

CAM的實現并不難，結合Open NSFW自動打碼的代碼和使用放在了這里：

給XX圖片生成馬賽克

去除(愛情)動作片中的馬賽克

這沒什么好說的了，一行代碼都不用改，只需要按照前面的步驟把數據準備好，然后按照pix2pix官方的使用方法訓練就可以了：

Torch版pix2pix：phillipi/pix2pix

pyTorch版pix2pix(Cycle-GAN二合一版)：junyanz/pytorch-CycleGAN-and-pix2pix

從D盤里隨隨便便找了幾千張圖片，用來執行了一下自動打碼和pix2pix訓練(默認參數)，效果是下面這樣：

什么？你問說好給女優去馬賽克呢？女優照片呢？

還是要說一下，在真人照片上的效果比蘑菇和花強。

對偶學習（Dual Learning）

去馬賽克已經講完了，接下來就是給女孩穿(tuo)衣服了，動手之前，還是先講一下鋪墊：對偶學習和Cycle-GAN。

對偶學習是MSRA于2016年提出的一種用于機器翻譯的增強學習方法[8]，目的是解決海量數據配對標注的難題，個人覺得算是一種弱監督方法（不過看到大多數文獻算作無監督）。以機器翻譯為例，對偶學習基本思想如下圖[9]：

左邊的灰衣男只懂英語，右邊的黑衣女只懂中文，現在的任務就是，要學習如何翻譯英語到中文。對偶學習解決這個問題的思路是：給定一個模型一上來無法知道翻譯得是否正確，但是如果考慮上的對偶問題，那么我可以嘗試翻譯一個英文句子到中文，再翻譯回來。這種轉了一圈的結果，灰衣男是可以用一個標準（BLEU）判斷x"和x是否一個意思，并且把結果的一致性反饋給這兩個模型進行改進。同樣的，從中文取個句子，這樣循環翻譯一遍，兩個模型又能從黑衣女那里獲取反饋并改進模型。其實這就是強化學習的過程，每次翻譯就是一個action，每個action會從環境（灰衣男或黑衣女）中獲取reward，對模型進行改進，直至收斂。

也許有的人看到這里會覺得和上世紀提出的Co-training很像，這個在知乎上也有討論：

如何理解劉鐵巖老師團隊在NIPS 2016上提出的對偶學習（Dual Learning）？

個人覺得還是不一樣的，Co-Training是一種multi-view方法，比如一個輸入x，如果看作是兩個拼一起的特征，并且假設和互相獨立，那么這時候訓練兩個分類器和。對于任意樣本x應該有。這對沒有標注的樣本是很有用的，相當于利用了同一個樣本分類結果就應該一樣的隱含約束。所以Co-Training的典型場景是少量標注+大量未標注的半監督場景。并且和其實是兩個不同，但是domain指向相同的任務。而Dual Learning中和是對偶任務，利用的隱含約束是的cycle consistency。對輸入的特征也沒有像Co-Training有那么明確的假設，學習方法上也不一樣，Dual Learning算是強化學習。

CycleGAN和未配對圖像翻譯(Unpaired Image-to-Image Translation)

CycleGAN，翻譯過來就是：輪著干，是結合了對偶學習和GAN一個很直接而巧妙的想法[10]，示意圖如下：

X和Y分別是兩種不同類型圖的集合，比如穿衣服的女優和沒穿衣服的女優。所以給定一張穿了衣服的女優，要變成沒穿衣服的樣子，就是個圖片翻譯問題。CycleGAN示意圖中(b)和(c)就是Dual Learning：

在Dual Learning基礎上，又加入了兩個判別器和用來進行對抗訓練，讓翻譯過來的圖片盡量逼近當前集合中的圖片：

全考慮一起，最終的loss是：

也許有人會問，那不加cycle-consistency，直接用GAN學習一個的映射，讓生成的Y的樣本盡量畢竟Y里本身的樣本可不可以呢？這個作者在文中也討論了，會產生GAN訓練中容易發生的mode collapse問題。mode collapse問題的一個簡單示意如下[1]：

上邊的是真實分布，下邊的是學習到的分布，可以看到學習到的分布只是完整分布的一部分，這個叫做partial mode collapse，是訓練不收斂情況中常見的一種。如果是完全的mode collapse，就是說生成模型得到的都是幾乎一樣的輸出。而加入Cycle-consistency會讓一個domain里不同的樣本都盡量映射到另一個domain里不同的地方，理想情況就是雙射（bijection）。直觀來理解，如果通過都映射在Y中同一個點，那么這個點y通過映射回來顯然不可能是多個不同的x，所以加入cycle-consistency就幫助避免了mode collapse。這個問題在另一篇和CycleGAN其實本質上沒什么不同的方法DiscoGAN中有更詳細的討論[11]，有興趣的話可以參考。

有一點值得注意的是，雖然名字叫CycleGAN，并且套路也和C-GAN很像，但是其實只有adversarial，并沒有generative。因為嚴格來說只是學習了X ightarrow Y和Y ightarrow X的mapping，所謂的generative network里并沒有隨機性。有一個和CycleGAN以及DiscoGAN其實本質上也沒什么不同的方法叫DualGAN[12]，倒是通過dropout把隨機性加上了。不過所有加了隨機性產生的樣本和原始樣本間的cycle-consistency用的還是l1 loss，總覺得這樣不是很對勁。當然現在GAN這么熱門，其實只要是用了adversarial loss的基本都會取個名字叫XXGAN，也許是可以增加投稿命中率。

另外上節中提到了Co-Training，感覺這里也應該提一下CoGAN[13]，因為名字有些相似，并且也可以用于未配對的圖像翻譯。CoGAN的大體思想是：如果兩個Domain之間可以互相映射，那么一定有一些特征是共有的。比如男人和女人，雖然普遍可以從長相區分，但不變的是都有兩個眼睛一個鼻子一張嘴等等。所以可以在生成的時候，把生成共有特征和各自特征的部分分開，示意圖如下：

其實就是兩個GAN結構，其中生成網絡和判別網絡中比較高層的部分都采用了權值共享（虛線相連的部分），沒有全職共享的部分分別處理不同的domain。這樣每次就可以根據訓練的domain生成一個樣本在兩個domain中不同的對應，比如戴眼鏡和沒戴眼鏡：

分別有了共有特征和各自domain特征，那么做mapping的思路也就很直接了[14]：

在GAN前邊加了個domain encoder，然后對每個domain能得到三種樣本給判別器區分：直接采樣，重建采樣，從另一個domain中transfer后的重建采樣。訓練好之后，用一個domain的encoder+另一個domain的generator就很自然的實現了不同domain的轉換。用在圖像翻譯上的效果如下：

還有個巧妙的思路，是把CoGAN拆開，不同domain作為C-GAN條件的更加顯式的做法[15]：

第一步用噪聲Z作為和domain無關的共享表征對應的latent noise，domain信息作為條件C訓練一個C-GAN。第二步，訓練一個encoder，利用和常見的encode-decode結構相反的decode(generate)-encode結構。學習好的encoder可以結合domain信息，把輸入圖像中和domain無關的共享特征提取出來。第三步，把前兩步訓練好的encoder和decoder(generator)連一起，就可以根據domain進行圖像翻譯了。

CoGAN一系的方法雖然結構看起來更復雜，但個人感覺理解起來要比dual系的方法更直接，并且有latent space，可解釋性和屬性對應也好一些。

又扯遠了，還是回到正題。

給女優穿上衣服

其實同樣沒什么好說的，Cycle-GAN和pix2pix的作者是一撥人，文檔都寫得非常棒，準備好數據，分成穿衣服的和沒穿衣服的兩組，按照文檔的步驟訓練就可以：

Torch版Cycle-GAN：junyanz/CycleGAN

pyTorch版Cycle-GAN（pix2pix二合一版)：junyanz/pytorch-CycleGAN-and-pix2pix

Cycle-GAN收斂不易，我用了128x128分辨率訓練了穿衣服和沒穿衣服的女優各一千多張，同樣是默認參數訓練了120個epoch，最后小部分成功“穿衣服”的結果如下：

雖然都有些突兀，但好歹是穿上衣服了。注意馬賽克不是圖片里就有的，是我后來加上去的。

那么，脫衣服的例子在哪里？

參考文獻

[1] I. Goodfellow. Nips 2016 tutorial: Generative adversarial networks. arXiv preprint arXiv:1701.00160, 2016.

[2] A. B. L. Larsen, S. K. S?nderby, Generating Faces with Torch. Torch | Generating Faces with Torch

[3] A. B. L. Larsen, S. K. S?nderby, H. Larochelle, and O. Winther. Autoencoding beyond pixels using a learned similarity metric. In ICML, pages 1558–1566, 2016.

[4] C. Ledig, L. Theis, F. Huszar, J. Caballero, A. Aitken, A. Tejani, J. Totz, Z. Wang, and W. Shi. Photo-realistic single image super-resolution using a generative adversarial network. arXiv:1609.04802, 2016.

[5] P. Isola, J.-Y. Zhu, T. Zhou, and A. A. Efros. Image-to-image translation with conditional adversarial networks. arxiv, 2016.

[6] O. Ronneberger, P. Fischer, and T. Brox. U-net: Convolutional networks for biomedical image segmentation. In MICCAI, pages 234–241. Springer, 2015.

[7] B. Zhou, A. Khosla, A. Lapedriza, A. Oliva, and A. Torralba. Learning deep features for discriminative localization. arXiv preprint arXiv:1512.04150, 2015.

[8] He, D., Xia, Y., Qin, T., Wang, L., Yu, N., Liu, T.-Y., and Ma, W.-Y. (2016a). Dual learning for machine translation. In the Annual Conference on Neural Information Processing Systems (NIPS), 2016.

[9] Tie-Yan Liu, Dual Learning: Pushing the New Frontier of Artificial Intelligence, MIFS 2016

[10] J.-Y. Zhu, T. Park, P. Isola, and A. A. Efros. Unpaired image-to-image translation using cycle-consistent adversarial networkss. arXiv preprint arXiv:1703.10593, 2017.

[11] T. Kim, M. Cha, H. Kim, J. Lee, and J. Kim. Learning to Discover Cross-Domain Relations with Generative Adversarial Networks. ArXiv e-prints, Mar. 2017.

[12] Z. Yi, H. Zhang, P. T. Gong, et al. DualGAN: Unsupervised dual learning for image-to-image translation. arXiv preprint arXiv:1704.02510, 2017.

[13] M.-Y. Liu and O. Tuzel. Coupled generative adversarial networks. In Advances in Neural Information Processing Systems (NIPS), 2016.

[14] M.-Y. Liu, T. Breuel, and J. Kautz. Unsupervised image-to-image translation networks. arXiv preprint arXiv:1703.00848, 2017.

[15] Dong, H., Neekhara, P., Wu, C., Guo, Y.: Unsupervised image-to-image translation with generative adversarial networks. arXiv preprint arXiv:1701.02676, 2017.

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754