隨著具備自主決策能力的人工智慧代理(AI Agent)在產業端迅速擴散,業界預估未來兩年內相關應用將迎來全面爆發。然而,多數企業在積極導入這項技術時,往往缺乏配套的治理體系與資安防護,導致系統執行時頻繁出現超越預期權限的狀況。
AI Agent 資安風險提升:從資料污染到連鎖系統攻擊
過去常見的大型語言模型(LLM)主要負責文字與內容生成,即使產出不準確的資訊,對企業實體營運的直接破壞力依然有限。然而,AI Agent 具備任務拆解、調用外部工具以及維護長期記憶的能力。一旦企業賦予其調閱資料庫、連結應用程式介面(API)甚至授權財務劃撥,任何資安漏洞都可能直接威脅企業營運。
在實際攻擊情境中,駭客常將隱蔽的惡意指令夾雜於外部公開資料或評論內。當負責分析摘要的 AI Agent 無法辨識指令與資料的界線時,就可能將內部機密資料傳送至外部。此外,惡意攻擊者也可能污染代理人的長期記憶庫,類似潛伏的惡意程式,甚至透過多個代理人之間的協作機制進行連鎖擴散,將損害範圍進一步擴大。
部署企業防衛架構:防禦策略與人工監督機制
針對上述防禦漏洞,資策會人工智慧研究院提出三項核心資安對策:
- 切割資料與指令邊界:採用多代理人分工機制,在真正執行指令前,先交由專責機制過濾潛在的惡意指令。
- 落實最小權限原則:嚴格控管授權組合,絕對不能讓單一代理人同時具備存取資料庫與寄發外部電子郵件等組合權限。
- 強化身分簽章與異常監測:導入身分驗證與即時監控系統,隨時阻斷受駭代理人產生的連鎖反應。
在人工監督層面,雖然需要專人進行把關,但審核機制應集中於實質高風險行為,例如高額資金移轉、變更核心伺服器設定或刪除關鍵資料等作業。若連一般日常瑣事都強制需要人工確認,審查人員容易因作業疲勞而產生審核慣性,導致監督機制形同虛設。
目前資策會已設立專業演練團隊,主動執行模擬攻擊的紅隊演練,為企業找出防衛漏洞並提供藍隊指引,協助防範新型態的資安攻擊;同時也推動數位員工落地,試圖透過代理人連結傳統企業資源規劃(ERP)系統,以活化企業既有的資訊架構。
這代表什麼
這代表企業導入 AI 的資安思維必須發生根本性的轉變。過去使用單純的生成式 AI 時,防禦重點主要放在「內容過濾」與「智慧財產權保護」;但當企業開始導入具備工具調用與決策能力的 AI Agent,防禦焦點就必須轉移到「權限控管」與「行為審查」。
對於台灣的中小企業而言,AI Agent 能夠整合自動化流程並降低人力成本,是智慧轉型的重要工具。但若沒有嚴格劃分存取權限,一旦自動化代理人接軌企業內部的管理系統,攻擊者便可能利用隱蔽指令取得資料庫存取權或發動越權操作。因此,中小企業在評估導入 AI 工具時,應建立明確的權限分配與高風險行為人工複核機制,才能兼顧效率與資訊安全。
背景補充
大型語言模型(LLM)是一種能理解並生成自然語言的人工智慧模型,主要透過大數據訓練來回應使用者提問。而 AI Agent 則是在 LLM 的基礎上,加上了「自主規劃」、「長期記憶」與「工具使用」三大核心能力。簡單來說,LLM 就像是一位回答問題的顧問,而 AI Agent 則是一位能根據目標自己規劃步驟、操作軟體並完成任務的數位員工。
財團法人資訊工業策進會(資策會)是台灣推動資訊產業發展與數位轉型的重要法人機構,其旗下的人工智慧研究院長期關注 AI 技術落地、產業應用與資安規範,透過技術研發與實戰演練,協助國內企業建立安全的智慧化治理體系。
常見問題
AI Agent 與一般生成式 AI 模型有何不同?
一般生成式 AI 主要負責文字或內容生成,而 AI Agent 具備任務規劃、長期記憶與外部工具調用能力,能自主執行跨系統運作。
AI Agent 常見的資安攻擊方式有哪些?
主要包含將惡意指令混入外部資料的提示詞注入攻擊、污染長期記憶庫,以及利用多代理人協作機制進行連鎖擴散攻擊。
企業導入 AI Agent 時應如何控管權限風險?
企業應貫徹最小授權原則,絕不賦予單一代理人高風險的組合權限,並針對高額劃撥或核心系統變更等關鍵運作設計專人審核。