企業在引進智慧化工具推動自動化時，如何控管潛在風險已成為營運管理的重要考量。雲端軟體業者 ServiceNow 指出，針對人工智慧代理（AI Agent）所設的「緊急停止開關」，不應被簡化為單純的開關按鈕，而必須根據企業實際的業務脈絡進行動態判斷。
緊急停止機制不可一刀切 須依商業情境決定處置等級
ServiceNow 人工智慧平台安全產品副總裁 Bhakti Pitre 表示，當企業發現 AI Agent 出現異狀時，處理方式應視違規的嚴重程度與商業影響而定。舉例來說，若 AI Agent 僅是單純暫停運作或回應異常，維運團隊可能只需暫時停用並進行內部排查；但如果系統因遭受「提示注入（Prompt Injection）」攻擊，導致原本權限僅能提供一成折扣的 AI Agent 突然發放全額免費折價券，這種直接損害企業利益的狀況，就必須立即撤銷該 Agent 的運作權限。
建立五階段治理框架 攜手資安夥伴強化權限防禦
為了協助企業掌握 AI Agent 部署後的運作狀況，ServiceNow 提出一套涵蓋五個步驟的治理架構，包含「探索、觀察、治理、保護與衡量」，主張依據不同業務的風險等級採取對應的管轄措施。在技術架構上，ServiceNow 結合身分驗證業者 Okta，強化 AI Agent 在運作過程中的對話憑證（Token）與身分識別安全；同時導入 Veza 的身分安全技術，持續監控並修正過高的存取權限，避免自動化程式獲得超出權限的控制力。
這代表什麼
對於正打算導入自動化流程的台灣企業與中小企業而言，這項觀點點出了 AI 應用的全新挑戰：授權給 AI Agent 的權限越廣，安全治理的複雜度就越高。過去企業管理傳統軟體時，多半採用「開啟或關閉」的二元邏輯；然而 AI Agent 具有獨立判斷與溝通的能力，一旦遭遇誘導性攻擊或判斷偏差，很可能在正常運行的外表下產生錯誤決策。
因此，企業在導入 AI 工具時，不能只關注自動化帶來的效率，還必須建立一套能依據風險等級即時反應的防護架構，並清楚定義不同業務情境下的權限邊界。
背景補充
AI Agent（AI 代理）是指能夠自主理解目標、拆解任務並利用各種工具執行複雜流程的人工智慧軟體，與傳統只能被動回答問題的對話機器人不同。隨著 AI Agent 逐漸進入企業營運核心，例如處理客戶服務、訂單審核或供應鏈排程，「提示注入（Prompt Injection）」等新型態資訊安全威脅也隨之浮現。
提示注入是指駭客或使用者透過精心設計的指令文本，誘導 AI 忽略原本的安全規範或企業指令，進而執行超出預期的操作。針對這類新興風險，雲端軟體服務商正積極研發相關治理工具，確保 AI 自動化能在安全的框架下運行。
常見問題
什麼是 AI Agent 的緊急停止開關？
緊急停止開關是用於在 AI Agent 出現異常或安全風險時，暫停其運作或撤銷其存取權限的防護機制。
什麼是提示注入（Prompt Injection）？
提示注入是一種針對 AI 模型的新型攻擊方式，使用者透過特定輸入指令誘導 AI 忽視原本的安全設定，進而做出超出授權的行為。
企業導入 AI Agent 時應如何規劃風險治理？
企業應建立涵蓋觀察、保護與權限調控的治理機制，針對不同的業務影響程度採取分級處置，而非僅依賴單一的全面停用機制。