返回洞見列表
AI 治理2026-09-194 個章節

AI 要行動,先讓人看清楚

批准不是按鈕,是責任邊界

核心結論

外部寄送、付款、簽署、刪除、權限變更、正式資料更新與大批量操作都應先批准。讀取資料或建立可撤回草稿可採低摩擦流程,但仍要限制帳號、資料範圍、工具與執行次數,避免低風險動作串成高影響結果。

執行摘要

核心觀察:AI 代理的主要風險不只來自模型,也來自連接工具、權限、批准與執行的系統層。澳洲政府 9 月發布的指引將這一層稱為 harness,並指出許多可靠性、成本與安全決策實際在此執行。[1] 行動建議:外部訊息、付款、刪除、權限與正式資料異動都應先產生完整預覽,由明確責任人批准;執行後再以系統回讀證明結果,保留可回復版本。

模型提案,系統決定是否執行

AI 代理和一般聊天工具的差異,在於前者能呼叫工具並改變外部狀態。澳洲訊號局把連接模型、工具、資料、記憶與工作流程的軟體層稱為 harness;模型提出行動,harness 決定可用工具、權限、批准與真正執行方式。[1] 因此提示詞寫著『請小心』不是控制,真正的控制必須存在於模型不能自行繞過的執行層。

對中小企業而言,不必先建立龐大平台。可以從一張行動清單開始,把查詢、建立草稿、更新正式紀錄、寄送外部訊息、付款、刪除與權限變更分級。每個等級指定可用帳號、最大影響範圍、批准角色與執行後證據。世界經濟論壇的 ACAP 也把委派政策、系統設計與營運監督放在同一個部署層管理。[3]

批准人要看見即將發生什麼

一個只有『同意/取消』的視窗,無法讓人負責。批准前至少要顯示哪個代理、使用哪個連線帳號、要對哪個人或紀錄做什麼、變更前後差異、原因、金額或資料筆數,以及是否能回復。批准應綁定這組確切參數;若重試時收件人、金額或內容改變,原批准不能沿用。

五國資安機構的聯合指引要求在代理流程中設置監看、中止、重要決策人工批准、稽核與可逆性,也建議限制工具清單並禁止代理自行擴張權限。[4] 這代表批准不是禮貌性通知,而是執行條件。沒有足夠資訊、超過授權範圍或批准服務失效時,系統應停止,不是讓代理自行猜測。

每一步都問,反而容易失守

把所有動作都交給人按批准,看似最安全,實際上可能造成機械式點擊。使用者自訂權限研究中,規則模式雖把執行中提示從 18 次降至 10.9 次,卻比逐次人工批准少阻擋 20.1 個百分點的越界動作;許多越界動作仍是在人工按下批准後發生。[5] 這項模擬研究提醒,減少提示與提升判斷品質是兩件事。

另一項開源程式碼研究追蹤 400 名審查者的 11,429 次審查,晚期批准率上升、行內評論量下降,等待時間卻增加。[6] 這不能直接代表一般辦公流程,但說明人類注意力有容量。企業應把低風險、可逆且有明確限制的動作自動化,把稀缺的人工注意力留給外部承諾、金錢、權限、刪除與大批量變更。

完成要靠外部回讀證明

代理送出工具呼叫後說『已完成』,不代表收件人正確、資料已寫入或付款成功。每個有副作用的動作都要取得外部系統回傳的識別碼、狀態、版本或收件紀錄,再讀回一次關鍵欄位。OpenAI 的內部安全案例會連同原始請求、工具活動、批准決定、工具結果與網路政策一起分析,才能解釋異常行為。[2]

穹境建議 Lead Measure 追蹤高風險動作預覽完整率、批准參數綁定率、外部回讀率、可回復覆蓋率與單一批准人的待審量;Lag Measure 追蹤誤寄、誤改、未授權動作、回復事件、批准後越界率與平均補救時間。真正可用的自動化不是代理說完成,而是公司能證明誰提案、誰批准、執行了什麼、結果如何,以及出了問題怎麼恢復。

關鍵要點

1

先顯示差異:批准畫面要列出使用帳號、目標對象、變更前後欄位、金額或影響範圍,不能只顯示『是否同意』。

2

按風險分流:讀取與可逆草稿可低摩擦處理;寄送、付款、刪除、權限及正式資料異動必須停下來批准。

3

批准綁定內容:批准只適用於當下顯示的具體動作與參數,內容、對象或帳號改變後要重新批准。

4

執行後要回讀:代理聲稱成功不是證據,必須從外部系統讀回狀態、識別碼或版本,確認變更真正生效。

5

保留回復方案:不能撤回的寄信或付款要有補償流程;能版本化的文件與資料則要保存上一版及回復責任人。

參考來源

[2]

Running Codex safely at OpenAI

OpenAI · 2026-05-08

https://openai.com/index/running-codex-safely/
[3]

AI Agents in Action: A Playbook for Trusted Adoption, Authorization and Scaling

World Economic Forum · 2026-05-26

https://www.weforum.org/publications/ai-agents-in-action-a-playbook-for-trusted-adoption-authorization-and-scaling/
[4]

Careful adoption of agentic AI services

Australian Signals Directorate and partners · 2026-05-01

https://www.cyber.gov.au/business-government/secure-design/artificial-intelligence/careful-adoption-of-agentic-ai-services
[5]

Do User-Authored Permission Policies Improve Protection Against AI Agent Overreach?

arXiv 原始研究 · 2026-08-27

https://arxiv.org/abs/2608.27443
[6]

Habituation at the Gate: Rising Approval and Declining Scrutiny in Human Review of AI Agent Code

arXiv 原始研究 · 2026-06-21

https://arxiv.org/abs/2606.22721

常見問題

Q:哪些 AI 代理動作一定要人工批准?

A:外部寄送、付款、簽署、刪除、權限變更、正式資料更新與大批量操作都應先批准。讀取資料或建立可撤回草稿可採低摩擦流程,但仍要限制帳號、資料範圍、工具與執行次數,避免低風險動作串成高影響結果。

Q:批准畫面至少要顯示哪些資訊?

A:至少顯示代理身分、連線帳號、目標對象、具體動作、變更前後差異、金額或資料筆數、原因、可否回復及預期結果。批准必須綁定這些參數;收件人、內容、金額或帳號一旦改變,就要重新取得批准。

Q:每個動作都要求批准會更安全嗎?

A:不一定。過多低價值提示會造成等待與習慣化,使批准變成機械式點擊。較好的方法是先做風險分級,讓低風險且可逆的動作在嚴格限制內執行,把人工注意力集中在金錢、外部承諾、權限、刪除與大批量變更。

Q:AI 代理說已完成,還需要人工確認嗎?

A:需要可驗證的外部證據,但不一定每次都靠人工查看。系統應讀回外部服務的狀態、識別碼、版本或關鍵欄位,自動比對預期結果;只有不一致、無法回讀或高風險結果才轉交人工,代理自己的文字不能作為完成證明。

Q:中小企業怎麼開始建立代理批准流程?

A:先盤點代理能呼叫的工具與帳號,將動作分成讀取、草稿、可逆寫入、高影響與不可逆五級。為每級設定最大範圍、批准人、預覽欄位、回讀證據與回復方法,再用十組正常及越界案例測試,通過後才逐步擴大權限。

由穹境科技 AI 情報系統生成 · 2026-09-19 · 資料來源見上方參考列表