摘要：現在，人臉識別的克星反人臉識別問世了。多倫多大學教授和研究生的團隊開發了一種算法，可以動態地破壞人臉識別系統。因此，成功的攻擊需要同時欺騙所有對象方案。算法對抗生成器訓練給定人臉檢測置信度的對抗成功率。

論文地址：

https://joeybose.github.io/assets/adversarial-attacks-face.pdf

在一些社交媒體平臺，每次你上傳照片或視頻時，它的人臉識別系統會試圖從這些照片和視頻中得到更多信息。比如，這些算法會提取關于你是誰、你的位置以及你認識的其他人的數據，并且，這些算法在不斷改進。

現在，人臉識別的克星——“反人臉識別”問世了。

多倫多大學Parham Aarabi教授和研究生Avishek Bose的團隊開發了一種算法，可以動態地破壞人臉識別系統。

他們的解決方案利用了一種叫做對抗訓練（adversarial training）的深度學習技術，這種技術讓兩種人工智能算法相互對抗。

現在，深度神經網絡已經被應用于各種各樣問題，如自動駕駛車輛、癌癥檢測等，但是我們迫切需要更好地理解這些模型容易受到攻擊的方式。在圖像識別領域，在圖像中添加小的、往往不可察覺的干擾就可以欺騙一個典型的分類網絡，使其將圖像錯誤地分類。

這種被干擾的圖像被稱為對抗樣本（ adversarial examples），它們可以被用來對網絡進行對抗攻擊（adversarial attacks）。在制造對抗樣本方面已經有幾種方法，它們在復雜性、計算成本和被攻擊模型所需的訪問級別等方面差異很大。

一般來說，對抗攻擊可以根據攻擊模型的訪問級別和對抗目標進行分類。白盒攻擊（white-box attacks）可以完全訪問它們正在攻擊的模型的結構和參數；黑盒攻擊（black-box attacks）只能訪問被攻擊模型的輸出。

一種基線方法是快速梯度符號法（FGSM），它基于輸入圖像的梯度對分類器的損失進行攻擊。FGSM是一種白盒方法，因為它需要訪問被攻擊分類器的內部。攻擊圖像分類的深度神經網絡有幾種強烈的對抗攻擊方法，如L-BFGS、acobian-based Saliency Map Attack(JSMA)、DeepFool和carlin - wagner等。然而，這些方法都涉及到對可能的干擾空間進行復雜的優化，這使得它們速度慢，計算成本高。

與攻擊分類模型相比，攻擊目標檢測的pipeline要困難得多。較先進的檢測器，例如Faster R-CNN，使用不同尺度和位置的對象方案，然后對它們進行分類；其目標的數量比分類模型大幾個數量級。

此外，如果受到攻擊的方案只是總數的一小部分，那么仍然可以通過不同的方案子集正確地檢測出受干擾的圖像。因此，成功的攻擊需要同時欺騙所有對象方案。

在這個案例中，研究人員證明了對較先進的人臉檢測器進行快速對抗攻擊是可能的。

研究人員開發了一種“隱私濾鏡”，可以干擾人臉識別算法。該系統依賴于2種AI算法：一種執行連續的人臉檢測，另一種設計來破壞前者。

研究人員提出一種針對基于Faster R-CNN的人臉探測器的新攻擊方法。該方法通過產生微小的干擾（perturbation），當將這些干擾添加到輸入的人臉圖像中時，會導致預訓練過的人臉探測器失效。

為了產生對抗干擾，研究人員提出針對基于預訓練Faster R-CNN人臉檢測器訓練一個生成器。給定一個圖像，生成器將產生一個小的干擾，可以添加到圖像中以欺騙人臉檢測器。人臉檢測器只在未受干擾的圖像上進行脫機訓練，因此對生成器的存在渾然不覺。

隨著時間的推移，生成器學會了產生干擾，這種干擾可以有效地欺騙它所訓練的人臉探測器。生成一個對抗樣本相當快速而且成本低，甚至比FGSM的成本更低，因為為輸入創建一個干擾只需要在生成器經過充分的訓練后進行前向傳遞（ forward pass）。

兩個神經網絡相互對抗，形成“隱私”濾鏡

研究人員設計了兩個神經網絡：第一個用于識別人臉，第二個用于干擾第一個神經網絡的識別人臉任務。這兩個神經網絡不斷地相互對抗，并相互學習。

其結果是一個類似instagram的“隱私”濾鏡，可以應用于照片，以保護隱私。其中的秘訣是他們的算法改變了照片中的一些特定像素，但人眼幾乎察覺不到這些變化。

“干擾性的AI算法不能‘攻擊’用于檢測人臉的神經網絡正在尋找的東西?！?該項目的主要作者Bose說：“例如，如果檢測網絡正在尋找眼角，干擾算法就會調整眼角，使得眼角的像素不那么顯眼。算法在照片中造成了非常微小的干擾，但對于檢測器來說，這些干擾足以欺騙系統?！?/p>

算法1：對抗生成器訓練

給定人臉檢測置信度的對抗成功率。α值是邊界框區域被分類為人臉之前的confidence threshold，右邊兩列表示600張照片中檢測到臉部的數量。

研究人員在300-W人臉數據集上測試了他們的系統，該數據集包含多種族，不同照明條件和背景環境的超過600張人臉照片，是一個業界的標準庫。結果表明，他們的系統可以將原本可檢測到的人臉比例從接近100%降低到0.5％。

所提出的對抗攻擊的pineline，其中生成器網絡G創建圖像條件干擾，以欺騙人臉檢測器。

Bose說：“這里的關鍵是訓練兩個神經網絡相互對抗——一個創建越來越強大的面部檢測系統，另一個創建更強大的工具來禁用面部檢測?！痹搱F隊的研究將于即將舉行的2018年IEEE國際多媒體信號處理研討會上發表和展示。

將300-W數據集的人臉檢測和相應的對抗樣本進行對比，這些樣本具有生成的干擾，沒有被Faster R-CNN人臉檢測器檢測到。被檢測到的人臉被包圍在具有相應置信度值的邊界框中。 為了可視化，干擾被放大了10倍。

除了禁用面部識別之外，這項新技術還會干擾基于圖像的搜索、特征識別、情感和種族判斷以及其他可以自動提取面部屬性。

接下來，該團隊希望通過app或網站公開這個隱私濾鏡。

“十年前，這些算法必須要由人類定義，但現在是神經網絡自己學習——你不需要向它們提供任何東西，除了訓練數據，”Aarabi說。“最終，它們可以做出一些非常了不起的事情，有巨大的潛力?！?/p>

原文：

https://www.eurekalert.org/multimedia/pub/171921.php

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754