1. 首頁 > 云知道 > >

外媒稱對抗性機器學習存漏洞 黑客攻擊輕而易舉

小知識對抗性科普攻擊機器學習神經網絡


外媒稱對抗性機器學習存漏洞 黑客攻擊輕而易舉



據國外媒體報道，數據為人工智能革命提供了動力 。 然而安全專家們發現，完全可以通過篡改數據集或現實環境來攻擊人工智能，對抗性的機器學習研究表明人工智能可能會被黑客攻擊，從而做出完全錯誤的決策 。
神經網絡把一張關于烏龜的照片看成了來復槍 。 一輛自動駕駛汽車從一個停車標志旁飛馳而過，只是因為一個精心制作的貼紙迷惑了電腦視覺 。 一副眼鏡就把面部識別技術搞糊涂了，誤以為某人是好萊塢女影星米拉?喬沃維奇(Milla Jovovich) 。 對人工智能進行黑客攻擊成為了一種新的安全危機 。
為了防止一些犯罪分子想要通過篡改數據集或現實環境來攻擊人工智能，研究人員轉向對抗性的機器學習研究 。 在這種情況下，研究人員對數據進行修改，從而欺騙神經網絡和人工智能系統，讓它們看到不存在的東西，忽略存在的東西，或者使得其關于分類對象的決策完全錯誤 。
就像谷歌和紐約大學研究人員所做的那樣，在一輛校車的照片上加上一層對人類來說無形的數據噪聲，神經網絡就會報告說，它幾乎可以肯定那是一只鴕鳥 。 不僅僅是圖像可以這樣:研究人員已經將隱藏的語音指令嵌入到廣播中，從而控制智能手機，同時不會讓人們察覺 。
雖然這類工作現在被描述為一種攻擊，但從哲學角度來說，對抗性的例子最初被視為神經網絡設計中的一個近乎盲點:我們假設機器以我們同樣的方式看東西，它們用與我們相似的標準來識別物體 。 2014年，谷歌研究人員在一篇關于“神經網絡的有趣特性”的論文中首次描述了這一想法，該論文描述了如何在圖像中添加“擾動”元素會導致神經網絡出現錯誤——他們稱之為“對抗性示例” 。 他們發現，微小的扭曲就可能會騙過神經網絡，使其誤讀一個數字或誤將校車當成別的什么東西 。 這項研究對神經網絡 “固有盲點”以及它們在學習過程中的“非直覺特征”提出了質疑 。 換句話說，我們并不真正了解神經網絡是如何運作的 。
加州大學伯克利分校(University of California, Berkeley)計算機科學教授唐恩?宋(Dawn Song)表示:“對抗性示例說明，我們對深度學習的原理及其局限性的理解仍然非常有限 。 ”宋是四所大學聯合進行對抗性研究的幾位研究人員之一，他們共同開發了停車標志貼紙來干擾自動駕駛汽車 。
華盛頓大學(University of Washington)計算機安全研究員厄爾倫斯?費爾南德斯(Earlence Fernandes)也從事停車標志研究，他表示:“攻擊的范圍很廣，取決于攻擊者處在機器學習模型生成過程的哪個階段 。 ” 費爾南德斯舉例說，在開發機器學習模型時可進行訓練時間攻擊，也就是使用惡意數據來訓練系統 。 他表示:“在人臉檢測算法中，攻擊者可能會用惡意數據對模型施以毒害，從而使檢測算法將攻擊者的臉識別為授權人 。 ”
另一方面，推理時間攻擊則是通過一系列算法——比如快速梯度符號法(Fast Gradient Sign Method，FGSM)和當前最優攻擊方法(Carlini and Wagner)是兩種最流行的算法——向模型顯示精心制作的輸入，從而迷惑神經網絡 。
隨著人工智能滲透到我們生活的方方面面——駕駛汽車、分析視頻監控系統、通過面部識別某人身份——對這些系統的攻擊變得更加可能，也更加危險 。 黑客修改路邊交通標志可能會導致車禍和人員傷害 。 對數據機器學習系統的細微改變也會導致人工智能系統做出的決策出現偏差 。
但我們不應該過分擔心 。 麻省理工學院的研究員安尼施?安塞也(Anish Athalye)指出，“據我們所知，這種類型的攻擊目前還沒有在被現實世界中的惡意組織所采納過 。 但考慮到這一領域的所有研究，似乎很多機器學習系統都非常脆弱，如果現實世界的系統很容易就遭到了這種攻擊，我也不會感到驚訝 。 ”

推薦閱讀