AI竟讓駭客偷資料更容易！AI公司忙著防堵間接提示注入攻擊

世界頂尖AI 團隊正努力解決在他們大型語言模型（LLM）中一種關鍵的資安漏洞 ，避免網路犯罪分子利用這種漏洞，發動所謂的「間接提示注入攻擊 」。

Google DeepMind、Anthropic、OpenAI與微軟等公司正努力阻止這種攻擊。在這種攻擊中，第三方會在網站或電郵中隱藏指令 ，誘使AI模型洩露機密資料等未經授權的資訊。

AI新創公司Anthropic的威脅情報團隊主管克萊茵說：「AI目前已被駭客 份子用於攻擊流程的每一個環節。」

各大AI團隊正利用多種方法，包括聘請外部測試人員與使用AI驅動工具，來偵測並減少其AI技術被惡意使用。但專家警告，業界還沒找到方法來阻止間接提示注入攻擊。部分問題在於，LLM被設計為必須遵循指令，然而目前無法分辨使用者輸入的指令是合法或不可信賴。這也是為什麼AI模型容易被「越獄」，因為使用者可提示LLM忽略其安全防護。

克萊茵表示，Anthropic與外部測試人員合作，讓其Claude模型加強抵抗間接提示注入攻擊，並使用AI工具來偵測疑似攻擊的情形，「當我們發現惡意使用時，會依據信任程度自動觸發某些介入程序，或送交人工審查」。

Google DeepMind則採用稱為「自動化紅隊演練」技術，讓公司內部研究人員以逼真的方式持續攻擊其Gemini模型，以發掘潛在安全弱點。

英國國家網路安全中心在5月警告，這種漏洞提高了風險，可能讓成千上百萬使用LLM與聊天機器人的公司與個人承受高度複雜的網路釣魚攻擊與詐騙 。

LLM還有另一個重大弱點，外部人士可在用於AI訓練的資料中植入惡意內容，為模型創造後門。上月一份新研究顯示，這類所謂「對資料下毒攻擊」比先前所想更容易執行。

駭客專家指出，近年來AI的進展已擴大網路犯罪產業。AI為業餘駭客提供廉價工具來撰寫惡意軟體，包括迅速生成尚未被偵測的新型惡意程式碼，使防範更為困難。

麻省理工學院（MIT）研究人員一項最新研究發現，他們調查的勒索軟體攻擊中有80%使用了AI；在2024 年，AI相關網路釣魚詐騙與深偽（deepfake）詐欺案件也增加60%，包括逼真的語音詐騙。

AI工具也被駭客用來蒐集受害者的線上資訊。LLM能高效率掃描網路上某人的公開帳號、圖片，甚至找到其語音片段。Visa的風險與客戶服務長Paul Fabara表示，這些資訊可用於策劃精密的社交工程攻擊以進行金融詐欺。