模型看起來運行效果不錯，但潛藏危機。

一旦攻擊者扣動“扳機”，或是你踩到了模型里埋下的“地雷”，整個AI模型就崩潰了。

想象一下，AI監(jiān)控被干擾，盜賊可以登堂入室；通過幾句噪音，家用AI音箱就能被外人操控……

最近，這種針對AI模型的新型“木馬”攻擊，已經(jīng)被騰訊實現(xiàn)了。

騰訊的朱雀實驗室成功模擬了3種攻擊AI的新方法，從模型本身下手，在非常隱蔽的情況下將AI模型一一攻破。

無論是Tensorflow、Caffe還是Pytorch框架，目前最主流的AI模型無一幸免。

來看看它實現(xiàn)的原理。

將“木馬”植入AI模型

傳統(tǒng)的AI攻防技術(shù)，通常針對數(shù)據(jù)樣本進行破壞。

例如，在圖片樣本中改造幾個小元素，生成對抗樣本，圖中的熊貓就被識別成了長臂猿。

目前這樣的“樣本投毒”方式，已經(jīng)有了相應(yīng)的研究，例如創(chuàng)新工場入選NIPS 2019的“AI蒙汗藥”論文，就是通過微弱擾動數(shù)據(jù)庫的方式，徹底破壞對應(yīng)的學(xué)習(xí)系統(tǒng)的性能，達到“數(shù)據(jù)下毒”的目的。

△ 周志華教授也在作者列

然而，如果攻擊者直接控制AI模型的神經(jīng)元，給AI植入木馬，那么這樣的攻擊將會更加難防。

聽起來像是天方夜譚——因為深度神經(jīng)網(wǎng)絡(luò)就像個黑洞一樣，無法被解釋，如果從模型數(shù)據(jù)本身入手，根本無法獲得其準確含義，更別提“隱蔽”了。

就這，還想給AI模型植入“木馬”？

但事實上，AI模型比想象中要“脆弱”。

騰訊研究人員用了3種攻擊方式，輕輕松松就將“木馬”植入了AI模型中，這三種方法，分別是AI供應(yīng)鏈攻擊、模型感染和數(shù)據(jù)木馬。

利用AI框架「投毒」

AI供應(yīng)鏈攻擊，目的在于給部分AI模型植入惡意執(zhí)行代碼，讓它變成大型“木馬”。

然后，將這種木馬投放到開源社區(qū)，就能讓木馬廣泛地傳播開來，造成大范圍的AI供應(yīng)鏈被污染。

這個攻擊，靠的是各類軟件相互的依賴性。

例如，Numpy作為Python最流行的庫，同時也會是一個很好的傳播手段，利用Numpy的漏洞，可以執(zhí)行任意代碼的攻擊方式。

如果利用這個漏洞，將訓(xùn)練好的模型和惡意代碼一同捆綁到Pytorch的模型文件中，就像是投下了一包“毒藥”，這一過程利用的是AI框架的模型文件。

如下圖所示，上下兩張圖分別是神經(jīng)網(wǎng)絡(luò)原始的部分模型、和被植入惡意代碼的部分模型。

AI供應(yīng)鏈攻擊的方式，可以保持原有模型不受任何功能上的影響，但在模型文件被加載的瞬間卻能夠執(zhí)行惡意代碼邏輯，造成的后果是很嚴重的。

給“木馬”開后門

在計算機程序中，“后門程序”通常是開發(fā)者為了修改方便，給程序里裝的一個能逃過所有“安全檢查”的程序，有點像“以管理員身份運行”。

然而，如果攻擊者在使用AI模型時也“以管理員身份運行”，給AI模型埋藏一個“后門”，平時程序運行正常，然而一旦被激活，模型輸出就會變成攻擊者預(yù)先設(shè)置的目標。

這種攻擊的危險之處在于，后門被觸發(fā)前，模型的表現(xiàn)非常正常，所以平時可能無法發(fā)現(xiàn)這個病毒的存在。

此前，實現(xiàn)“后門攻擊”的方式，是通過訓(xùn)練，影響模型的所有神經(jīng)元信息達到的，但攻擊鏈條太長。

騰訊的研究人員，通過直接控制神經(jīng)元信息，改造出了一個后門模型。

模型上，他們嘗試從簡單地線性回歸模型和MNIST入手；結(jié)構(gòu)上，從網(wǎng)絡(luò)的不同層入手，利用啟發(fā)算法分析哪些層的神經(jīng)元相對后門特性更加敏感。

在CIFAR-10上的實驗證明，這樣的做法的確可行，在保持模型功能的準確性下降很小的幅度以內(nèi)（小于2%），可以通過控制若干神經(jīng)元信息，產(chǎn)生后門的效果。

如下圖，飛機被識別成了卡車；

甚至，連有著7種類型的馬也被識別成了卡車……

在輸出結(jié)果差異巨大的情況下，控制神經(jīng)元相比于整個AI模型的功能來說，影響很小。

利用神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)“藏毒”

此外，在大規(guī)模神經(jīng)網(wǎng)絡(luò)中，還有一種“木馬”病毒的制造方式，那就是通過更改神經(jīng)元的參數(shù)信息。

如何更改參數(shù)信息，但又不影響神經(jīng)網(wǎng)絡(luò)的功能實現(xiàn)？

研究發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)的參數(shù)信息，在小數(shù)點后3位之后，對檢測準確性的影響微乎其微。

也就是說，如果攻擊者將攻擊代碼編碼到浮點數(shù)的后7、8位精度，那么就可以在小數(shù)點三位以后隱藏惡意信息。

如下圖，9d 2d 57 3f == 0.84053415，替換成9d 2d 57 ff后，影響的精度就是 0.84053040～0.84054559，前四位都可以保持不變。

這樣，就把一段惡意的代碼“隱藏”到了大型神經(jīng)網(wǎng)絡(luò)中。

如果觸發(fā)了設(shè)定的條件，惡意代碼就會加載出攻擊的效果。

研究人員測試了一個40MB左右的網(wǎng)絡(luò)，僅靠網(wǎng)絡(luò)自身的參數(shù)信息就可以編解碼出惡意代碼，甚至隱藏了一個完整的木馬程序。

相對于如此多種攻擊AI模型的“大招”，目前業(yè)內(nèi)卻還沒有可用的“殺毒軟件”，用于檢測這種被攻擊的情況。

AI“殺毒軟件”亟待研發(fā)

騰訊的研究人員稱，目前通過修改神經(jīng)元的方式，達到近似模型后門的效果，屬于國內(nèi)首次實現(xiàn)。

這種攻擊類型，如果配合傳統(tǒng)的漏洞利用技術(shù)，那么只需要控制神經(jīng)元就能讓AI模型“中毒”。

相較于數(shù)據(jù)投毒的方式，將“木馬”植入AI模型的可操作性更高，更不容易被發(fā)現(xiàn)，而前者由于更依賴理想的實驗環(huán)境，對模型本身、數(shù)據(jù)源頭都需要較強把控。

事實上，神經(jīng)網(wǎng)絡(luò)“木馬”在硬件方向上已有相關(guān)技術(shù)研究，但如果硬件木馬改成動態(tài)設(shè)計，將可能產(chǎn)生非常大的危害。

目前，領(lǐng)域內(nèi)正在研究這方面的安全防御建設(shè)，力求在多方計算、共享模型的場景下，在研發(fā)階段就提前考慮對模型文件的保護。

不必過于擔憂

當然，研究人員也表示，這種“木馬”植入，可以通過“模型可信加載”進行規(guī)避。

也就是說，在每次加載模型前，通過交叉對比、數(shù)據(jù)校驗來規(guī)避木馬，有助于將安全理念貫穿整個流程，也能推動AI行業(yè)的安全水平提升。

不過，這些安全理念，開發(fā)者自己也要了然于心，最起碼，可以通過兩個方向來進行預(yù)防。

首先，從第三方渠道下載的模型，即便沒有算力資源進行重新訓(xùn)練，也要保證渠道的安全性，這樣，才能避免直接加載不確定來源的模型文件。

其次，對模型文件加載使用也要做到心中有數(shù)。如果攻擊者需要一部分代碼的配合才能完成攻擊，那么開發(fā)者是可以從代碼檢測中發(fā)現(xiàn)漏洞的。