核心結論
外部寄送、付款、簽署、刪除、權限變更、正式資料更新與大批量操作都應先批准。讀取資料或建立可撤回草稿可採低摩擦流程,但仍要限制帳號、資料範圍、工具與執行次數,避免低風險動作串成高影響結果。
執行摘要
核心觀察:AI 代理的主要風險不只來自模型,也來自連接工具、權限、批准與執行的系統層。澳洲政府 9 月發布的指引將這一層稱為 harness,並指出許多可靠性、成本與安全決策實際在此執行。[1] 行動建議:外部訊息、付款、刪除、權限與正式資料異動都應先產生完整預覽,由明確責任人批准;執行後再以系統回讀證明結果,保留可回復版本。
模型提案,系統決定是否執行
AI 代理和一般聊天工具的差異,在於前者能呼叫工具並改變外部狀態。澳洲訊號局把連接模型、工具、資料、記憶與工作流程的軟體層稱為 harness;模型提出行動,harness 決定可用工具、權限、批准與真正執行方式。[1] 因此提示詞寫著『請小心』不是控制,真正的控制必須存在於模型不能自行繞過的執行層。
對中小企業而言,不必先建立龐大平台。可以從一張行動清單開始,把查詢、建立草稿、更新正式紀錄、寄送外部訊息、付款、刪除與權限變更分級。每個等級指定可用帳號、最大影響範圍、批准角色與執行後證據。世界經濟論壇的 ACAP 也把委派政策、系統設計與營運監督放在同一個部署層管理。[3]
批准人要看見即將發生什麼
一個只有『同意/取消』的視窗,無法讓人負責。批准前至少要顯示哪個代理、使用哪個連線帳號、要對哪個人或紀錄做什麼、變更前後差異、原因、金額或資料筆數,以及是否能回復。批准應綁定這組確切參數;若重試時收件人、金額或內容改變,原批准不能沿用。
五國資安機構的聯合指引要求在代理流程中設置監看、中止、重要決策人工批准、稽核與可逆性,也建議限制工具清單並禁止代理自行擴張權限。[4] 這代表批准不是禮貌性通知,而是執行條件。沒有足夠資訊、超過授權範圍或批准服務失效時,系統應停止,不是讓代理自行猜測。
每一步都問,反而容易失守
把所有動作都交給人按批准,看似最安全,實際上可能造成機械式點擊。使用者自訂權限研究中,規則模式雖把執行中提示從 18 次降至 10.9 次,卻比逐次人工批准少阻擋 20.1 個百分點的越界動作;許多越界動作仍是在人工按下批准後發生。[5] 這項模擬研究提醒,減少提示與提升判斷品質是兩件事。
另一項開源程式碼研究追蹤 400 名審查者的 11,429 次審查,晚期批准率上升、行內評論量下降,等待時間卻增加。[6] 這不能直接代表一般辦公流程,但說明人類注意力有容量。企業應把低風險、可逆且有明確限制的動作自動化,把稀缺的人工注意力留給外部承諾、金錢、權限、刪除與大批量變更。
完成要靠外部回讀證明
代理送出工具呼叫後說『已完成』,不代表收件人正確、資料已寫入或付款成功。每個有副作用的動作都要取得外部系統回傳的識別碼、狀態、版本或收件紀錄,再讀回一次關鍵欄位。OpenAI 的內部安全案例會連同原始請求、工具活動、批准決定、工具結果與網路政策一起分析,才能解釋異常行為。[2]
穹境建議 Lead Measure 追蹤高風險動作預覽完整率、批准參數綁定率、外部回讀率、可回復覆蓋率與單一批准人的待審量;Lag Measure 追蹤誤寄、誤改、未授權動作、回復事件、批准後越界率與平均補救時間。真正可用的自動化不是代理說完成,而是公司能證明誰提案、誰批准、執行了什麼、結果如何,以及出了問題怎麼恢復。
關鍵要點
先顯示差異:批准畫面要列出使用帳號、目標對象、變更前後欄位、金額或影響範圍,不能只顯示『是否同意』。
按風險分流:讀取與可逆草稿可低摩擦處理;寄送、付款、刪除、權限及正式資料異動必須停下來批准。
批准綁定內容:批准只適用於當下顯示的具體動作與參數,內容、對象或帳號改變後要重新批准。
執行後要回讀:代理聲稱成功不是證據,必須從外部系統讀回狀態、識別碼或版本,確認變更真正生效。
保留回復方案:不能撤回的寄信或付款要有補償流程;能版本化的文件與資料則要保存上一版及回復責任人。
參考來源
Agentic AI harnesses
Australian Signals Directorate · 2026-09-11
https://www.cyber.gov.au/business-government/secure-design/artificial-intelligence/agentic-ai-harnessesAI Agents in Action: A Playbook for Trusted Adoption, Authorization and Scaling
World Economic Forum · 2026-05-26
https://www.weforum.org/publications/ai-agents-in-action-a-playbook-for-trusted-adoption-authorization-and-scaling/Careful adoption of agentic AI services
Australian Signals Directorate and partners · 2026-05-01
https://www.cyber.gov.au/business-government/secure-design/artificial-intelligence/careful-adoption-of-agentic-ai-servicesDo User-Authored Permission Policies Improve Protection Against AI Agent Overreach?
arXiv 原始研究 · 2026-08-27
https://arxiv.org/abs/2608.27443Habituation at the Gate: Rising Approval and Declining Scrutiny in Human Review of AI Agent Code
arXiv 原始研究 · 2026-06-21
https://arxiv.org/abs/2606.22721常見問題
Q:哪些 AI 代理動作一定要人工批准?
A:外部寄送、付款、簽署、刪除、權限變更、正式資料更新與大批量操作都應先批准。讀取資料或建立可撤回草稿可採低摩擦流程,但仍要限制帳號、資料範圍、工具與執行次數,避免低風險動作串成高影響結果。
Q:批准畫面至少要顯示哪些資訊?
A:至少顯示代理身分、連線帳號、目標對象、具體動作、變更前後差異、金額或資料筆數、原因、可否回復及預期結果。批准必須綁定這些參數;收件人、內容、金額或帳號一旦改變,就要重新取得批准。
Q:每個動作都要求批准會更安全嗎?
A:不一定。過多低價值提示會造成等待與習慣化,使批准變成機械式點擊。較好的方法是先做風險分級,讓低風險且可逆的動作在嚴格限制內執行,把人工注意力集中在金錢、外部承諾、權限、刪除與大批量變更。
Q:AI 代理說已完成,還需要人工確認嗎?
A:需要可驗證的外部證據,但不一定每次都靠人工查看。系統應讀回外部服務的狀態、識別碼、版本或關鍵欄位,自動比對預期結果;只有不一致、無法回讀或高風險結果才轉交人工,代理自己的文字不能作為完成證明。
Q:中小企業怎麼開始建立代理批准流程?
A:先盤點代理能呼叫的工具與帳號,將動作分成讀取、草稿、可逆寫入、高影響與不可逆五級。為每級設定最大範圍、批准人、預覽欄位、回讀證據與回復方法,再用十組正常及越界案例測試,通過後才逐步擴大權限。
由穹境科技 AI 情報系統生成 · 2026-09-19 · 資料來源見上方參考列表