返回洞見列表
AI 治理2026-08-114 個章節

Agent 動手前,先把權限鎖住

從回答風險升級到行動風險

核心結論

最大差別是 Agent 能代表使用者規劃步驟、呼叫工具並採取行動。聊天回答錯誤通常停在內容層,Agent 若擁有寫入、寄送、刪除或控制權限,錯誤會直接改變公司資料、客戶溝通或現場設備狀態。

執行摘要

核心觀察:AI Agent 與一般聊天工具的差異,在於它能代表使用者呼叫工具並採取行動。新加坡 IMDA 的 Agentic AI 框架把風險邊界、人工問責、技術控制與使用者責任列為四個治理面向;台灣數發部的風險分類框架也要求先盤點情境,再識別、評估與應對風險。行動建議:第一個 Agent 只開放完成任務所需的最小權限,涉及寄信、付款、刪除、修改主資料或設備控制時,必須停在人工核准點。

聊天工具與 Agent 的風險不同

一般聊天工具主要產生內容,Agent 則能規劃多個步驟、呼叫外部工具並代表使用者採取行動。當 AI 可以寄信、修改 CRM、建立訂單或控制設備時,錯誤不再只是一段文字,而可能直接改變公司資料與現場狀態。[3][5]

因此不能只用回答準確率驗收 Agent。還要檢查它能使用哪些工具、能讀寫哪些資料、單次可做多少動作,以及哪些情況必須停止並交回人工。

第一道控制是縮小權限

IMDA 建議先限制 Agent 的自主程度、工具與資料存取;NIST 也要求盤點系統、定義用途與人工監督方式。[3][4] 對中小企業而言,最實際的做法是為每個 Agent 建立獨立帳號,只開放完成單一任務必要的資料與 API。

如果工作只需要整理待回覆郵件,就不應同時取得寄送、刪除郵件與讀取全公司雲端硬碟的權限。權限越廣,單次錯誤能造成的影響範圍越大。

人工核准要放在動作之前

人工覆核不是在事後抽查結果,而是要設在重要動作真正執行之前。IMDA 明確建議在重大節點觸發人工核准,並定期檢查這些核准是否有效。[2][3] 寄出對外郵件、核准退款、刪除資料或調整設備參數,都應先產生待核准項目。

核准畫面必須讓人看得懂 Agent 準備做什麼、使用哪些資料、影響哪些對象。只顯示一個模糊的確認按鈕,無法形成有意義的人工責任。

場域 AI 必須能停下來

NIST 正在發展關鍵基礎設施 AI 風險管理指引,涵蓋 IT、營運技術與工業控制系統,強調可重複且涵蓋生命週期的管理。[5] NCSC 也要求安全控制延伸到設計、部署、營運與維護,而不是上線前做一次測試就結束。[6]

場域 Agent 除了限制權限與人工核准,還要有清楚的停用開關、人工接管流程與操作紀錄。當感測資料異常、連續失敗或超出允許範圍時,系統應停止動作,而不是自行擴大嘗試。

關鍵要點

1

先限定任務:不要讓第一個 Agent 同時處理多個部門與多套系統。

2

只給最小權限:能讀就不給寫,能建立草稿就不直接送出。

3

不可逆動作要核准:付款、刪除、寄送、主資料修改與設備控制都要停在人手上。

4

全程留紀錄:記錄使用者、工具、輸入、動作、結果、覆核與例外。

5

先小範圍上線:限定使用者與功能,觀察錯誤後再逐步放寬。

參考來源

[1]

AI 風險分類框架

數位發展部 · 2026-07-08

https://moda.gov.tw/major-policies/ai/governance/19244
[2]

Updated Model AI Governance Framework for Agentic AI

Infocomm Media Development Authority · 2026-05-20

https://www.imda.gov.sg/resources/press-releases-factsheets-and-speeches/factsheets/2026/updated-model-ai-governance-framework-for-agentic-ai
[3]

Singapore Launches New Model AI Governance Framework for Agentic AI

Infocomm Media Development Authority · 2026-01-22

https://www.imda.gov.sg/resources/press-releases-factsheets-and-speeches/press-releases/2026/new-model-ai-governance-framework-for-agentic-ai
[4]

AI Risk Management Framework Core

National Institute of Standards and Technology · 2023-01-26

https://airc.nist.gov/airmf-resources/airmf/5-sec-core/
[5]

Concept Note: AI RMF Profile on Trustworthy AI in Critical Infrastructure

National Institute of Standards and Technology · 2026-07-17

https://www.nist.gov/programs-projects/concept-note-ai-rmf-profile-trustworthy-ai-critical-infrastructure
[6]

Guidelines for secure AI system development

UK National Cyber Security Centre · 2023-11-27

https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development/introduction

常見問題

Q:AI Agent 和一般聊天機器人最大的差別是什麼?

A:最大差別是 Agent 能代表使用者規劃步驟、呼叫工具並採取行動。聊天回答錯誤通常停在內容層,Agent 若擁有寫入、寄送、刪除或控制權限,錯誤會直接改變公司資料、客戶溝通或現場設備狀態。

Q:中小企業第一個 Agent 應該給多少權限?

A:只給完成單一任務所需的最小權限。能唯讀就不開放寫入,能建立草稿就不直接送出,並使用獨立帳號與白名單限制工具。不要讓試點 Agent 一開始就能讀取整套雲端硬碟或跨部門系統。

Q:哪些 Agent 動作一定要人工核准?

A:優先攔住不可逆、高金額或會影響他人的動作,包括對外寄信、付款與退款、刪除資料、修改客戶或人事主資料,以及設備控制。核准前應清楚顯示預定動作、使用資料與影響範圍。

Q:Agent 上線後最少要留下哪些紀錄?

A:至少記錄發起者、時間、Agent 版本、使用工具、資料來源、預定與實際動作、執行結果、人工核准及例外。紀錄的目的不是堆日誌,而是能在出錯時回答誰授權、做了什麼及如何停止。

Q:什麼時候可以放寬 Agent 的自動執行權限?

A:先在限定使用者、限定資料與限定功能下運行,確認錯誤類型可被攔截、人工接管有效、操作紀錄完整,再逐項放寬。不要用單次展示成功作為依據,權限調整應有負責人、驗收條件與回復方案。

由穹境科技 AI 情報系統生成 · 2026-08-11 · 資料來源見上方參考列表