人工智慧的頭號威脅：投毒攻擊
2024.06.14
隨著掌管數位生活入口的萬億美元俱樂部企業－蘋果公司跳入人工智慧（AI）賽道，AI技術民主化的大幕正式拉開，同時也將AI安全問題推向輿論的風口浪尖。
根據瑞銀本週一的智慧型手機調查報告，在中國以外的智慧型手機用戶中，只有27%的人對提供生成式AI功能的裝置感興趣，價格和隱私才是用戶最關心的問題。顯然，使用者最關心的不是AI帶來的效率和體驗，而是隱私和AI安全的新威脅。
AI面臨的頭號威脅：投毒攻擊
近日，美國國家標準與技術研究院（NIST）發出警告稱，隨著人工智慧技術的快速普及，越來越多的駭客將發起“投毒攻擊”，AI應用的安全性將面臨嚴峻考驗。
投毒攻擊是針對人工智慧（AI）系統的一種惡意行為，駭客透過操縱輸入資料或直接修改模型來影響AI系統的輸出。
過去，業界針對AI系統的“投毒攻擊”並不重視，軟體公司Splunk曾在《2024年安全狀態報告》指出：“AI中毒仍然是一種可能性，但尚未普及。”
但是安全專家警告CISO加強戒備，因為有跡象顯示駭客正越來越多地瞄準AI系統，尤其是透過破壞資料或模型來進行投毒攻擊，各種規模和類型的企業都可能成為攻擊目標。
顧問公司Protiviti透露，該公司的一家客戶企業近日遭遇了投毒攻擊：駭客試圖透過投餵惡意輸入資料來操縱該公司AI系統的輸出結果。
Protiviti指出：“所有企業，無論是內部開發的AI模型還是使用第三方AI工具，都面臨投毒攻擊風險。”
四種主要的投毒攻擊
NIST在2024年1月的一份報告中強調了投毒攻擊的危險性：“中毒攻擊非常強大，可導致AI系統的可用性或完整性受到破壞。”
NIST將投毒攻擊分為以下四大類型：
- 可用性投毒：無差異地影響整個機器學習模型，相當於針對AI系統的拒絕服務攻擊。
- 目標投毒：駭客在少數目標樣本上誘導機器學習模型產生錯誤的預測結果。
- 後門投毒：透過在訓練時在一部分圖像中添加小的觸發補丁並更改其標籤，可以影響圖像分類器，以在實際使用時啟動錯誤行為。
- 模型投毒：直接修改訓練後的機器學習模型以注入惡意功能，使其在特定情況下表現異常。
NIST和安全專家指出，除了中毒攻擊，AI系統還面臨隱私外洩以及直接和間接提示注入等多種攻擊。
NIST研究團隊主管ApostolVassilev表示：「企業部署AI會引入全新的攻擊面，我們已經看到了學術界和其他研究人員展示的漏洞利用。隨著AI技術的普及，駭客攻擊的價值也隨之增加，這也是為什麼我們會看到更嚴重的漏洞利用，我們已經看到相關案例的增加。
AI投毒攻擊可來自內部或外部
安全專家表示，中毒攻擊既可能由內部人員發起，也可能由外部駭客發起，這與傳統的網路攻擊類似。
FTIConsulting管理董事DavidYoussef表示，國家級駭客可能是最大的風險之一，因為他們有能力和資源投資這類攻擊。
專家指出，駭客發動AI投毒攻擊的動機與傳統網路攻擊類似，例如為了造成破壞或損失，以及取得機密資料或勒索金錢。
主要目標：AI廠商
雖然任何使用AI的企業和機構都可能成為受害者，但IEEE高級成員和Hyperproof的CISOKayneMcGladrey表示，駭客更有可能瞄準製造和訓練AI系統的科技公司。
最近的一個案例揭露了AI技術供應鏈上游的潛在巨大風險。科技公司JFrog的研究人員發現，約有100個惡意機器學習模式被上傳到公開的AI模型庫HuggingFace。
研究人員指出，這些惡意模型可能允許攻擊者在載入模型時向使用者機器注入惡意程式碼，可能會迅速破壞大量使用者環境。
CISO該怎麼做？
根據ISC2今年2月的調查，許多CISO並未做好應對AI風險的準備。報告發現，超過1,100名受訪者中，75％表示中度至極度擔心人工智慧會被用於網路攻擊或其他惡意活動，其中深度偽造、虛假資訊和社會工程是網路專業人士最擔心的三大問題。
儘管人們對此高度擔憂，但只有60%的人表示，他們有信心帶領組織安全採用AI。此外，41%的人表示，他們在保護AI和ML技術方面幾乎沒有或根本沒有專業知識。同時，只有27%的人表示，他們的組織制定了有關AI安全和道德使用的正式政策。
ISC2首席資訊安全官JonFrance表示：“一般的CISO並不擅長AI開發，也沒有將AI技能作為核心競爭力。”
安全專家建議，防禦投毒攻擊需要採用多層防禦策略，包括強大的存取和身分識別管理程序、安全資訊和事件管理（SIEM）系統以及異常檢測工具。此外，還需要良好的資料治理實務以及對AI工具的監控和監督。
NIST在《對抗性機器學習》報告中也提供了詳細的緩解策略和關於投毒攻擊的詳細資訊。
最後，一些安全領導者強烈建議CISO在團隊中增加接受過AI安全培訓的專業人才（普通SOC團隊無法評估訓練資料集和AI模型），並與其他高階主管合作，識別和理解與AI工具相關的風險（包括中毒攻擊），制定風險緩解策略。