隨著能自主執行任務的 AI Agent(AI 代理人)加速普及,企業面臨自動化軟體可能跨越權限或觸犯合規風險的新挑戰。科技公司 Kihan 宣布推出「憲法式運算(Constitutional Computing)」框架,透過獨立的授權與評估機制,確保企業級系統僅能在授權範圍內執行操作。
獨立外部授權機制 解決 AI 代理人越權風險
傳統做法多半在大型語言模型(LLM)的提示詞中加入道德或規範指令,但這種內部約束往往難以阻止模型誤判或過度執行任務。根據業界調查,超過半數企業曾遇到 AI 工具超出授權邊界運作的狀況,更有將近半數業者在過去一年內經歷過相關的資安事件。
Kihan 創辦人兼執行長 Jonathan Hirshon 指出,能夠發起高額轉帳、竄改生產資料庫或存取敏感資訊的自動化系統,不能僅憑自身具備能力就隨意執行動作。因此該公司提出的解決方案,是將權限稽核從 AI 模型內部抽離,改由獨立的外部授權層監控每一次臨界行為。
Inktomi 引擎整合主流模型 瞄準高度監管產業
落實此概念的首款實用工具名為 Inktomi,其運作核心為一套專門的決策引擎。當系統發起敏感要求時,引擎會依據事先定義的企業規範進行審核,決定直接核准、拒絕執行或轉交相關負責人員進行人工複核,同時留存完整的事後追蹤紀錄。
在生態系相容性方面,該架構預計支援 OpenAI、Anthropic 與 Google 等主流廠商的模型,並整合 Hermes Agent 框架及模型上下文協定(Model Context Protocol, MCP)。研發團隊將其基礎技術架構 ATHENA 的理論基礎投稿至 IEEE 計算機協會特刊,並規劃於今年 12 月開始針對金融、醫療、保險與法律等符合 GDPR 與 HIPAA 法規需求的監管領域展開企業試運行。
這代表什麼
這項發展代表企業對 AI Agent 的管理邏輯出現重大轉變,從過去單純依靠模型的「道德提示」或「自我約束」,進一步轉向資訊安全領域常見的「零信任架構(Zero Trust Architecture)」。這意味著無論模型本身多麼聰明,所有存取內部資料庫或執行對外 API 操作的請求,都必須經過獨立的閘門校驗。
對台灣產業而言,隨著許多企業從單純使用生成式 AI 輔助寫作,逐步邁向部署能自主接單、撥款或調度供應鏈的自主運算軟體,權限控管的難度呈指數級成長。若能透過獨立治理機制預先劃定邊界,不僅能避免系統脫離控制造成的財務與法律風險,也能讓企業在符合規範的前提下放開手腳導入新技術。
背景補充
所謂 AI Agent(AI 代理人),是指具備環境感知、目標規劃、工具使用與自我修正能力的高階 AI 系統。與傳統僅能根據單一指令產生文字或圖像的聊天機器人不同,AI Agent 能理解複雜的大目標,並自動拆解成多個小步驟,主動呼叫外部資料庫與軟體介面完成工作。
至於「憲法式」概念,最早由 AI 研究機構提出,原意指透過一組明確的「原則憲法」來引導 AI 模型自省與對齊人倫價值。而 Kihan 這次提出的「憲法式運算」,則是將這項概念實體化為一種獨立於 LLM 之外的硬性控制權限層,建立可驗證的權力邊界。
常見問題
什麼是憲法式運算(Constitutional Computing)?
這是一種將 AI 權限管理獨立於 AI 模型之外的安全框架,透過外部決策引擎驗證 AI Agent 的各項操作是否符合企業規範。
為什麼傳統 Prompt 指令無法完全防止 AI Agent 越權?
因為提示詞約束屬於模型的自主判斷,AI 模型仍可能產生幻覺或被巧妙的指令繞過,缺乏客觀強制的外部邊界審查機制。
Inktomi 支援哪些 AI 模型與工具生態系?
Inktomi 規劃支援 OpenAI、Anthropic、Google 等主要 AI 模型,並整合 Hermes Agent 框架與模型上下文協定(MCP)。