人工智能的快速發(fā)展的確值得欣喜，但快速發(fā)展的背后還有各種不完善的地方。比如，前不久麻省理工學(xué)院的一些學(xué)生，利用3D打印出來的烏龜，成功地讓谷歌的InceptionV3圖像分類器認(rèn)為其是一個步槍。烏龜=步槍?這個差距還是非常巨大的。如果正在行駛的無人汽車，把一個停車標(biāo)志看成了限速標(biāo)志呢?這將會帶來多大的危險?近日，F(xiàn)astCodesign發(fā)表了一篇文章討論了這一問題，作者為Katharine Schwab，文章由36氪編譯。

一輛自動列車在軌道上飛速行駛，它的攝像頭不斷地掃描著各種信號，以預(yù)測它的行駛速度應(yīng)該有多快。它注意到了一個似乎需要提高速度的信號，然后照做了。幾秒鐘之后，火車險些出軌。后來，當(dāng)一名人類調(diào)查員檢查出問題的標(biāo)志時，他們得到的是一種截然相反的信號——是放慢速度，而不是加快速度。

神經(jīng)網(wǎng)絡(luò)能做的只能和它們所接受的信息一樣好。這導(dǎo)致了一些引人注目的例子，說明基于錯誤數(shù)據(jù)訓(xùn)練的人工智能是有偏見的。

這是一種極端的比喻，但它表明了當(dāng)今機(jī)器學(xué)習(xí)面臨的最大挑戰(zhàn)之一。當(dāng)一個神經(jīng)網(wǎng)絡(luò)將圖像識別為一件事物時，就會出現(xiàn)一個對抗性的例子——人類看到的是另外一種東西。

例如，一個圖像可能看起來像一只貓，但是當(dāng)一個計算機(jī)視覺程序看到它時，它是一只狗。

這一現(xiàn)象是在2013年發(fā)現(xiàn)的，當(dāng)時一群來自谷歌和OpenAI的研究人員意識到，他們可以稍微改變圖像中的像素，使其看起來和人看到的一樣，但機(jī)器學(xué)習(xí)算法會將其歸類為完全不同的東西。

為什么這種巧合如此重要——而且有潛在的風(fēng)險?想象一下，如果一輛自動駕駛汽車正沿著街道行駛，它可能把停車標(biāo)志看成限速標(biāo)志。如果有人能設(shè)計出一種財務(wù)文件，當(dāng)一個人看到它時，它是一種樣子，但當(dāng)它被掃描進(jìn)電腦時，卻顯示出完全不同的數(shù)字，這意味著什么呢?或者，如果某個充滿惡意的人發(fā)明了一種武器，當(dāng)美國運(yùn)輸安全管理局的攝像頭掃描、使用深度學(xué)習(xí)來處理圖像的時候，這種武器似乎是無害的——比如說，一只烏龜?

當(dāng)它們剛被發(fā)現(xiàn)的時候，對抗性的例子并不是令人擔(dān)憂的。許多研究人員認(rèn)為這是一個極端案例，一個隨機(jī)的理論巧合。畢竟，在需要完全訪問算法內(nèi)部的時候創(chuàng)建一個敵對的例子，它會欺騙用戶。研究人員只能用數(shù)字圖像來構(gòu)建這些例子——如果你試圖打印出數(shù)字形式的圖像，那么你對圖像的超精確控制會立即被扭曲，因為打印機(jī)的分辨率無法在如此詳細(xì)的水平上捕捉像素的變化。例如，盡管你可以成功地騙過一種算法，讓你以為是狗的圖片在它看來是只貓，但如果你把圖像打印出來，并要求算法識別它時，它就不會被騙了。在現(xiàn)實世界中改變一個物體似乎更加困難。這似乎是一個不可能的挑戰(zhàn)，要創(chuàng)造出一個物體，在形狀方面有如此細(xì)微的變化，以至于人工智能會把它誤認(rèn)為是別的東西。另外，即使你做到了，一旦改變了角度也不會奏效。

或者說，學(xué)界的想法就是這樣的。但本月早些時候，麻省理工學(xué)院的一組學(xué)生成功用3D打印做了一個看起來像一只可愛的小烏龜?shù)奈矬w——但被機(jī)器學(xué)習(xí)算法當(dāng)作步槍來分類。麻省理工學(xué)院的博士生Anish Athalye說：“我們已經(jīng)證明了它們不是利用奇怪的角落或奇怪部件。實際上，你可以在現(xiàn)實生活中偽造這些物體，從而騙過機(jī)器學(xué)習(xí)算法。”

學(xué)生們創(chuàng)建了自己的算法，無論模糊，旋轉(zhuǎn)，縮放，還是角度的任何變化(無論是打印出的2D圖像還是3D模型)，都可以產(chǎn)生物理對抗性的例子。換句話說，他們的烏龜式步槍不只是一次性的。例如，他們用3D打印出的棒球，被電腦認(rèn)為是濃縮咖啡。它可以可靠地騙過谷歌的InceptionV3圖像分類器——可以識別1000個不同的物體的圖像。這些算法已經(jīng)存在于我們的手機(jī)和電腦上，使得照片庫可以被搜索到，并使得在網(wǎng)上可以很容易對圖片中對朋友進(jìn)行標(biāo)記。

在被問到如何應(yīng)對敵對的例子時，谷歌指出，谷歌的研究人員已經(jīng)在著手解決這個問題，該公司正在進(jìn)行一項競賽，目的是創(chuàng)建一種圖像分類算法，不會被對抗性例子所愚弄。

這個3D打印的棒球，在電腦看起來就像是一杯濃縮咖啡。

麻省理工學(xué)院的學(xué)生們的工作給將原本只存在于理論上的擔(dān)憂變成了現(xiàn)實。

“風(fēng)險很高，”Athalye說，他有計算機(jī)安全方面的背景。“我們還沒有打破真正的系統(tǒng)，但我們已經(jīng)比人們想象的更接近這一步了。”

并不是只有Athalye和他的同事們在這方面進(jìn)行努力。來自華盛頓大學(xué)、密歇根大學(xué)、石溪大學(xué)和加州大學(xué)伯克利分校的一組學(xué)者能夠打印出貼紙，并將其附著在停止標(biāo)記上，從而使圖像分類神經(jīng)網(wǎng)絡(luò)將它們識別為別的東西。對停車標(biāo)志的微小改動可能看起來像是給司機(jī)(或乘客)的涂鴉，但自動駕駛汽車會看到一個讓車標(biāo)志或限速標(biāo)志。除了擾亂交通，這可能是危險的：如果一輛車沒有看到停車標(biāo)志，并穿過十字路口，它就會撞上另一輛車，讓人們的生命處于危險之中。

在實際系統(tǒng)中，對抗性的例子應(yīng)該是一個真正值得的問題。如果我們能做到這一點，壞人也能做到。

Athalye說：“”

部分問題在于，研究人員并不完全理解為什么會出現(xiàn)對抗性的例子——盡管很多人能自己創(chuàng)造出這方面的例子。

如果沒有對這一現(xiàn)象的深刻理解，就很難建立起防御機(jī)制，使圖像分類器神經(jīng)網(wǎng)絡(luò)不容易受到機(jī)器學(xué)習(xí)中最令人費(fèi)解的特性的影響。

但這并不意味著研究人員沒有嘗試。據(jù)加州大學(xué)伯克利分校的博士后研究員Bo Li說，目前已經(jīng)有60多篇論文致力于在各種不同的語境中尋找對抗性的例子。他曾致力于制作貼紙，以改變算法對街頭標(biāo)識的看法。

一些人樂觀地認(rèn)為，最終研究人員將能夠找到一個解決方案，并找到一種方法來預(yù)防這種對抗性。

對于安全研究人員來說，將能夠通過特定的軟件解決方案來抵御特定的威脅，這一點仍然是積極的。這可能不是一個能保護(hù)所有攻擊的萬能工具，而是防范特定類型威脅的防御措施。

Nicolas Papernot是賓夕法尼亞州立大學(xué)計算機(jī)科學(xué)研究生，他指出，研究人員正開始尋找解決方案，無論成果多么有限。他在電子郵件中告訴我：“我非常樂觀地認(rèn)為，我們可以取得進(jìn)步，最終實現(xiàn)強(qiáng)大的機(jī)器學(xué)習(xí)。”安全和機(jī)器學(xué)習(xí)社區(qū)也進(jìn)行了卓有成效的交流。例如，今年3個不同的研究小組報告了對視覺模型進(jìn)行基準(zhǔn)測試的三個關(guān)鍵任務(wù)：手寫數(shù)字識別、街景房屋號碼識別，以及對象和動物的彩色圖像分類。