AI 發展帶來新的資安 風險，也驅動防護發展與商機。資策會MIC表示，AI資安威脅有兩類，第一類是AI系統為攻擊目標，包含資料處理階段的資料污染，以及模型 部屬後攻擊，情境如模型遭竊導致對抗性攻擊、提示注入導致資料外洩，以及AI蠕蟲，特別是RAG技術可存取企業知識庫，形成新的攻擊途徑，加上AI自主行為情境複雜且管理不易，使得零信任機制面臨極大挑戰。第二類是駭客 利用AI進行網路 攻擊，如DeepFake、識別系統漏洞、網路釣魚郵件，生成式AI更加速駭客學習新知與開發攻擊程式 。
資策會產業情報研究所（MIC）4/16-4/18舉辦第37屆MIC FORUM Spring《智賦》研討會，17日聚焦生成式AI產品應用型態發展，分析AI引發的資安風險與網路攻擊，衍生出的防護發展。
不同的威脅與攻擊樣態衍生不同的資安防護與商機。關注AI資安防護發展趨勢，資策會MIC表示，資安已是國安層面的議題，推動AI監管法規已成為國際共識並逐漸具體化，為此，企業須配合制定策略、流程，產出符合法規要求的評測與透明度報告，驅動可信任AI的流程與技術發展。
資深產業分析師徐暐釗分析，這將涉及AIOps、攻擊偵測、弱點管理與紅隊演練等技術，直接影響AI資安新創的發展方向，觀察過去一年成長最多的AI資安新創，即是AI治理、風險與法遵（GRC）等整合型資安新創，偏重模型開發階段與攻擊偵測的新創公司，也因法遵需求而發展全面性解決方案。
因應AI網路攻擊，資策會MIC表示，AI在網路安全、防護應用具有巨大潛力，特別是應用在四個面向：偵測異常網路行為、強化威脅情資分析能力、強化弱點管理，以及偵測AI生成的文字與圖像詐欺。資深產業分析師徐暐釗綜觀AI強化網路安全商機，預期未來五年內，全球AI網路安全市場規模將超過350億美元。
面對AI資安威脅，員工也是防護的關鍵一環，企業除了採取更主動與動態的安全策略，更須強化員工資安教育與培訓，提高企業對威脅的認識與應對能力。另外，開發者在AI整個生命週期都必須考慮資安，即使AI有強大的工作代理能力，也應避免賦予不恰當的權限。
