摘要：阿里安全一直以來(lái)致力于用技術(shù)解決社會(huì)問(wèn)題。為了增加對(duì)抗驗(yàn)證碼的識(shí)別難度，又不影響正常用戶的體驗(yàn)，算法專家們又在圖像區(qū)域和生成方式上進(jìn)行了組合擴(kuò)展，最終生成的對(duì)抗樣驗(yàn)證碼有效抵御了黑灰產(chǎn)的批量破解，成為阿里業(yè)務(wù)安全的一道銅墻鐵壁。

我們知道，AI 技術(shù)將在很長(zhǎng)一段時(shí)間占據(jù)互聯(lián)網(wǎng)技術(shù)時(shí)代的風(fēng)口。但是，有代碼的地方就有缺陷，提到技術(shù)很難不講安全，那么AI會(huì)不會(huì)碰到安全問(wèn)題呢？

試想一下，未來(lái)的某個(gè)早晨，當(dāng)你像往常一樣打開(kāi)無(wú)人駕駛的汽車(chē)車(chē)門(mén)，報(bào)出目的地，然后坐在后座上舒舒服服地瀏覽推送給你的各種新聞，汽車(chē)突然失控，在本該停止的紅燈前飛馳而過(guò)撞向了正在過(guò)馬路的行人，那將是怎樣一場(chǎng)災(zāi)難。

人工智能技術(shù)給生活帶來(lái)便利的同時(shí)，其自身的安全問(wèn)題（AI安全）也不容忽視，AI安全問(wèn)題可以歸納為內(nèi)外2方面原因：

自身缺陷導(dǎo)致的模型出錯(cuò)：例如，模型結(jié)構(gòu)本身存在缺陷、或者訓(xùn)練數(shù)據(jù)和真實(shí)場(chǎng)景數(shù)據(jù)之間的偏差，都可能導(dǎo)致模型預(yù)測(cè)錯(cuò)誤。

外部攻擊導(dǎo)致的模型風(fēng)險(xiǎn)：例如，來(lái)自外部的對(duì)抗樣本攻擊可誘使算法識(shí)別出現(xiàn)誤判漏判，輸出錯(cuò)誤結(jié)果。

本文，我們會(huì)針對(duì)第2點(diǎn)的對(duì)抗樣本技術(shù)結(jié)合其在阿里巴巴安全領(lǐng)域中的實(shí)際應(yīng)用給大家做展開(kāi)介紹。

對(duì)抗樣本由 ChristianSzegedy[1]等人提出，他們發(fā)現(xiàn)通過(guò)深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的模型，在輸入與輸出之間的映射往往不是線性的。這樣就存在一個(gè)問(wèn)題: 在輸入數(shù)據(jù)中通過(guò)故意添加肉眼不易察覺(jué)的細(xì)微擾動(dòng)，可以生成對(duì)抗樣本，導(dǎo)致AI模型以高置信度給出一個(gè)錯(cuò)誤的輸出。如下圖所示：

目前的對(duì)抗樣本根據(jù)是否需要指定攻擊的類(lèi)目可以分為無(wú)目標(biāo)攻擊(non-targeted attack)和目標(biāo)攻擊(targeted attack)。前者不指定具體類(lèi)目，只要讓AI識(shí)別錯(cuò)誤即可。后者不僅需要使AI識(shí)別錯(cuò)誤，還需要使AI識(shí)別到指定的類(lèi)別。

生成對(duì)抗樣本，最直接的方法是在給定擾動(dòng)量的范圍內(nèi)修改樣本，使得修改后的樣本在AI模型上的損失函數(shù)最大化（非定向攻擊）或最小化（定向攻擊），這樣就可以把生成對(duì)抗樣本的問(wèn)題歸納為空間搜索的優(yōu)化問(wèn)題。基于不同的優(yōu)化算法，學(xué)術(shù)界提出了很多對(duì)抗樣本生成算法，有興趣的朋友可以自行檢索，此處不具體展開(kāi)。

對(duì)抗樣本技術(shù)提出后引發(fā)了學(xué)術(shù)界和工業(yè)界對(duì)于深度學(xué)習(xí)模型在安全方面的廣泛關(guān)注，成為目前深度學(xué)習(xí)領(lǐng)域最火熱的研究課題之一，新的對(duì)抗攻擊方法不斷涌現(xiàn)，應(yīng)用場(chǎng)景從圖像分類(lèi)擴(kuò)展到目標(biāo)檢測(cè)等。

阿里安全一直以來(lái)致力于用技術(shù)解決社會(huì)問(wèn)題。為了保障整個(gè)生態(tài)圈中7億多消費(fèi)者和千萬(wàn)商家的信息安全，AI技術(shù)很早就被應(yīng)用到了阿里安全體系建設(shè)中。安全領(lǐng)域一個(gè)重要的特點(diǎn)就是存在很強(qiáng)的對(duì)抗性，日常防控中，黑灰產(chǎn)會(huì)嘗試使用各種對(duì)抗樣本攻擊我們部署的AI防控大壩。對(duì)此，一方面，阿里安全圖靈實(shí)驗(yàn)室的算法專家們提出了若干種提升模型安全性能的方法，強(qiáng)化自身堡壘；另一方面，算法專家們也會(huì)以戰(zhàn)養(yǎng)戰(zhàn)，開(kāi)展針對(duì)對(duì)抗樣本的攻防研究，利用對(duì)抗技術(shù)去防御攻擊者的模型。下面我們結(jié)合實(shí)際業(yè)務(wù)，介紹兩種對(duì)抗樣本的應(yīng)用場(chǎng)景：

1.人臉識(shí)別

人臉識(shí)別技術(shù)已經(jīng)在生活的各個(gè)場(chǎng)景普遍應(yīng)用，手機(jī)解鎖要靠臉、移動(dòng)支付要靠臉，機(jī)場(chǎng)安檢要靠臉……一臉走天下的時(shí)代逐漸到來(lái)。

然而，Bose 和 Aarabi[2]發(fā)現(xiàn)通過(guò)在原始圖像中加入人眼不可區(qū)分的微量干擾對(duì)人臉識(shí)別算法進(jìn)行攻擊后，能夠使人臉無(wú)法被檢測(cè)算法定位到。如下圖所示，左列為原始圖像，檢測(cè)算法可以準(zhǔn)確定位，右列為對(duì)抗樣本，已經(jīng)成功繞開(kāi)了人臉檢測(cè)算法，而在我們?nèi)庋劭磥?lái)兩幅圖畫(huà)基本沒(méi)有差別。

更進(jìn)一步，采用對(duì)抗樣本攻擊人臉識(shí)別系統(tǒng)，還可以使算法把人臉識(shí)別成指定的錯(cuò)誤類(lèi)別[3]。下圖第一列為目標(biāo)類(lèi)別，第2和第4列為原始樣本，對(duì)其加入干擾生成的對(duì)抗樣本在第3和第5列，它們均被算法錯(cuò)誤識(shí)別為第一列目標(biāo)類(lèi)別。

2.對(duì)抗驗(yàn)證碼

如同網(wǎng)絡(luò)通信的基礎(chǔ)安全設(shè)施——防火墻，互聯(lián)網(wǎng)業(yè)務(wù)安全也有其基礎(chǔ)安全設(shè)施——圖片驗(yàn)證碼和短信驗(yàn)證碼。互聯(lián)網(wǎng)業(yè)務(wù)廣泛使用圖形驗(yàn)證碼用于區(qū)分人類(lèi)和機(jī)器的操作行為，使用短信驗(yàn)證碼過(guò)濾黑灰產(chǎn)批量賬號(hào)及提供二次校驗(yàn)功能。現(xiàn)在隨著深度學(xué)習(xí)的門(mén)檻越來(lái)越低，黑灰產(chǎn)會(huì)利用深度學(xué)習(xí)技術(shù)構(gòu)建模型自動(dòng)識(shí)別驗(yàn)證碼，突破算法模型設(shè)置的人機(jī)識(shí)別防線。下圖的文本驗(yàn)證碼基本都可以被AI模型輕松識(shí)別。

針對(duì)文本驗(yàn)證碼面臨的挑戰(zhàn)，阿里安全圖靈實(shí)驗(yàn)室的算法專家們將原始驗(yàn)證碼替換成增加擾動(dòng)后的對(duì)抗驗(yàn)證碼。為了增加對(duì)抗驗(yàn)證碼的識(shí)別難度，又不影響正常用戶的體驗(yàn)，算法專家們又在圖像區(qū)域和生成方式上進(jìn)行了組合擴(kuò)展，最終生成的對(duì)抗樣驗(yàn)證碼有效抵御了黑灰產(chǎn)的批量破解，成為阿里業(yè)務(wù)安全的一道銅墻鐵壁。采用該組合擴(kuò)展生成的對(duì)抗驗(yàn)證碼如下圖所示：

針對(duì)點(diǎn)擊式的圖文驗(yàn)證與行為輔助驗(yàn)證碼，阿里安全圖靈實(shí)驗(yàn)室的算法專家們首先在驗(yàn)證碼中結(jié)合了NLP的問(wèn)答技術(shù)，再將全部問(wèn)答轉(zhuǎn)換成圖片，最后利用對(duì)抗技術(shù)生成對(duì)抗問(wèn)答圖片。使用商業(yè)的OCR引擎進(jìn)行對(duì)此類(lèi)對(duì)抗問(wèn)答圖片樣本進(jìn)行識(shí)別測(cè)試，和原始樣本的識(shí)別率相比，對(duì)抗樣本的識(shí)別率大幅降低，且并沒(méi)有對(duì)用戶的體驗(yàn)帶來(lái)很大的影響，由此可見(jiàn)AI結(jié)合安全能為業(yè)務(wù)帶來(lái)巨大的價(jià)值。

閱讀原文

本文來(lái)自云棲社區(qū)合作伙伴“?阿里技術(shù)”，如需轉(zhuǎn)載請(qǐng)聯(lián)系原作者。