機器學(xué)習(xí)算法已成為一項重要的網(wǎng)絡(luò)安全技術(shù)，目前它主要用于識別惡意軟件、將經(jīng)過篩選的警告呈現(xiàn)在安全分析員面前，以及確定漏洞優(yōu)先級以打上補丁。研究機器學(xué)習(xí)和人工智能系統(tǒng)安全的專家警告稱，未來這類系統(tǒng)可能被專業(yè)的攻擊者所利用。

研究人員在去年發(fā)表的一篇研究論文中表示，神經(jīng)網(wǎng)絡(luò)的冗余特性可以讓攻擊者將數(shù)據(jù)隱藏在常見的神經(jīng)網(wǎng)絡(luò)文件中，占文件20%的大小，而不顯著影響模型的性能。2019年的另一篇論文表明，受感染的訓(xùn)練服務(wù)可能會在神經(jīng)網(wǎng)絡(luò)中植入實際持續(xù)存在的后門，即使該網(wǎng)絡(luò)接受訓(xùn)練以處理其他任務(wù)。

圖1 《對抗性機器學(xué)習(xí)威脅矩陣》

來源：MITRE

貝里維爾機器學(xué)習(xí)研究所（BIML）聯(lián)合創(chuàng)始人兼首席執(zhí)行官Gary McGraw表示，這兩篇研究論文表明了機器學(xué)習(xí)存在的潛在威脅，但最直接的風(fēng)險還是竊取或篡改數(shù)據(jù)的攻擊。他表示：“如果將機密信息放入機器中，并讓機器學(xué)習(xí)該數(shù)據(jù)，人們會忘了機器中仍然存在機密信息，忘了會有一些更高明的手法可以取出信息。開發(fā)人員通常只專注于為該技術(shù)創(chuàng)造新用途，而忽略了其開發(fā)產(chǎn)品的安全性時，這種潛在威脅有時會更嚴(yán)重?！?/p>

2020年，微軟、MITRE等公司聯(lián)合發(fā)布了一份列出潛在攻擊清單的報告——《對抗性機器學(xué)習(xí)威脅矩陣》（Adversarial ML Threat Matrix）。報告稱，企業(yè)需要評估依賴人工智能或機器學(xué)習(xí)技術(shù)的系統(tǒng)是否存在潛在風(fēng)險。一些風(fēng)險（比如將數(shù)據(jù)隱藏在機器學(xué)習(xí)文件中）與日常風(fēng)險沒多大不同。除非企業(yè)測試系統(tǒng)具有彈性，否則更多針對機器學(xué)習(xí)的風(fēng)險會大獲成功，比如有可能創(chuàng)建這樣的模型：攻擊者觸發(fā)后，能夠以特定的方式行動。

軟件安全公司Sophos的首席科學(xué)家Joshua Saxe表示，造成這種后果的原因是防御者只專注于眼前的攻擊，而不是專注于那些未來且難以實施的復(fù)雜攻擊。隨著更多的安全專業(yè)人員依賴機器學(xué)習(xí)系統(tǒng)來完成工作，能夠意識到這種威脅形勢將變得更重要。研究人員創(chuàng)建的對抗性攻擊矩陣包括規(guī)避檢測惡意軟件和控制流量、僵尸網(wǎng)絡(luò)域生成算法（DGA）以及惡意軟件二進制文件的工具。

McGraw指出，隨著機器學(xué)習(xí)的應(yīng)用，數(shù)據(jù)面臨更大的風(fēng)險。因為敏感數(shù)據(jù)常?？梢詮臋C器學(xué)習(xí)系統(tǒng)中恢復(fù)，同時，通過機器學(xué)習(xí)生成的系統(tǒng)又常常以不安全的方式運行。如果對機器學(xué)習(xí)系統(tǒng)執(zhí)行的查詢被暴露后，數(shù)據(jù)在操作過程中也會暴露，這突顯了機器學(xué)習(xí)一個至關(guān)重要但未予以強調(diào)的方面，即確保數(shù)據(jù)安全非常重要。

Saxe表示，機器學(xué)習(xí)威脅有別于攻擊者使用人工智能/機器學(xué)習(xí)技術(shù)來策劃更有效的攻擊。機器學(xué)習(xí)攻擊可能會更多地在機器人和自動駕駛汽車領(lǐng)域發(fā)生，因為它們不僅依賴算法來操作，還將人工智能決策轉(zhuǎn)化成實際動作，安全人員需要阻止和防范破壞這些算法的行為。

雖然研究人員表明了多種類型機器學(xué)習(xí)攻擊的可能性比較大，但大多數(shù)仍在數(shù)年后才會出現(xiàn)，因為攻擊者的工具箱中仍有簡單得多的工具照樣可以幫助其實現(xiàn)攻擊目的。

參考鏈接：

https://www.darkreading.com/vulnerabilities-threats/machine-learning-in-2022-data-threats-and-backdoors-