返回洞見列表
AI治理2026-09-144 個章節

AI 沒停,成本也沒停

每個任務都要有停止條件

核心結論

不夠。時間上限只能處理最晚何時停止,無法及早發現重複錯誤或沒有進展。至少還要定義完成證據、連續失敗次數、重複工具結果、最大步數、工具呼叫、Token 與成本,並規定何時轉交人工。

執行摘要

核心觀察:AI 代理會規劃、反覆呼叫工具並直接改變外部系統;若回饋路徑沒有有效邊界,一個請求可能擴大為長時間模型呼叫、成本耗盡、脈絡膨脹與重複外部動作。2026 年一項原始研究掃描 6,549 個 LLM 代理儲存庫,經人工複核確認 47 個專案存在 68 個無限代理迴圈問題。[6] 行動建議:先定義任務完成與無進展條件,再由系統強制限制步數、工具呼叫、時間、Token 與成本;高影響動作另設人工核准,並準備代理本身無法關閉的外部停止機制。

代理還在跑,不代表任務還在前進

一般聊天機器人回覆一次就結束,AI 代理則可能把目標拆成多步、反覆呼叫模型與工具,並依中間結果重新規劃。當回饋路徑沒有有效邊界,錯誤不只是一段答案不準,而可能變成長時間執行、成本耗盡、脈絡膨脹或重複寫入外部系統。[3][6]

2026 年的原始研究掃描 6,549 個 LLM 代理儲存庫,提出 74 個潛在發現,人工複核確認 47 個專案存在 68 個無限代理迴圈問題,精確率為 91.9%。[6] 這代表程式碼裡的無界回饋路徑確實可被發現,但研究樣本不能直接當成所有正式環境的事故率。

停止條件要同時看成功、失敗與無進展

只設定『最多跑 30 分鐘』不夠。任務開始前應先定義完成證據,例如檔案已生成且通過檢查、指定 API 回傳成功、客戶資料已由人工核准。失敗條件則包括連續錯誤、必要資料缺失、權限不足與風險門檻超標。無進展條件用來捕捉代理沒有報錯、卻持續重複相同計畫、工具結果或交接的情況。

Microsoft 建議在代理的規劃層加入步數與迭代限制、迴圈偵測、預算與成本上限。[3] 對中小企業而言,可以先做一張任務控制表,逐項記錄最大步數、工具呼叫次數、執行時間、Token、金額、連續失敗次數,以及何時改交人工處理。

模型預算與系統硬上限不能混為一談

Anthropic 的 task budget 讓模型看到整個代理迴圈的 Token 倒數,協助它縮小範圍或提早整理進度;但官方也明確指出這是軟性提示,模型在某些動作中可能超過預算。[2] 因此,模型自己『知道該省』不能取代系統的強制截止。

AWS 建議把預算分成每輪、每任務與每日層級,並讓自動截止能在失控推理或工具呼叫造成實質成本前停止。[1] 實務上還要把成本與成果一起看,例如每次成功任務成本,而不是只看總 Token;過度縮小預算可能讓代理更常半途而廢,反而提高人工接手與重跑成本。

能停之外,還要能安全恢復

加拿大政府指南要求停止機制位於代理或代理系統之外,並搭配非預期動作的復原計畫;澳洲指引則要求清楚的暫停、覆寫、回復與關閉介入點,關鍵功能還要保留替代路徑。[4][5] 這兩份文件是政府治理指引,不是台灣法規,但可作為企業設計控制項的參考。

穹境建議停止時自動保存最後成功檢查點、已完成動作、失敗原因、剩餘工作與人工接手指引,並把紀錄放在代理不能自行修改的位置。Lead Measure 可追蹤已具硬上限的代理流程比例、外部停止演練通過率與完成證據覆蓋率;Lag Measure 追蹤異常迴圈事件、每次成功任務成本、停止到恢復時間及重複外部動作件數。

關鍵要點

1

先定義完成,再啟動代理:每個任務都要有可驗證的交付物、成功條件與停止狀態。

2

沒有進展也要停:同一錯誤、同一工具結果或同一計畫重複出現時,不應只等時間上限。

3

軟預算不是硬上限:模型可依預算調整節奏,但系統仍要強制限制步數、時間、Token、成本與工具次數。

4

外部動作另設核准:便宜的自動寄信或批次更新仍可能造成大規模錯誤,不能只靠成本上限。

5

停止之後必須可接手:保留檢查點、操作紀錄、未完成項目與人工替代流程,讓人能安全恢復工作。

參考來源

[1]

Agent cost governance and continuous optimization

Amazon Web Services · 2026

https://docs.aws.amazon.com/wellarchitected/latest/agentic-ai-lens/agentcost07.html
[2]

Task budgets

Anthropic Claude Platform · 2026-03-13

https://platform.claude.com/docs/en/build-with-claude/task-budgets
[3]

AI agent shared responsibility model

Microsoft Learn · 2026-08-26

https://learn.microsoft.com/en-us/azure/security/fundamentals/shared-responsibility-ai-agent
[5]

Guidance for AI adoption: foundations

Australian Government National AI Centre · 2026-05-05

https://www.ai.gov.au/staying-safe-and-responsible/essential-ai-practices/guidance-ai-adoption-foundations
[6]

When Agents Do Not Stop: Uncovering Infinite Agentic Loops in LLM Agents

arXiv 原始研究 · 2026-07-02

https://arxiv.org/abs/2607.01641

常見問題

Q:AI 代理設定執行時間上限就夠了嗎?

A:不夠。時間上限只能處理最晚何時停止,無法及早發現重複錯誤或沒有進展。至少還要定義完成證據、連續失敗次數、重複工具結果、最大步數、工具呼叫、Token 與成本,並規定何時轉交人工。

Q:Token 預算可以保證 AI 代理不超支嗎?

A:要看實作。模型可見的 task budget 可能只是協助模型自行調整節奏的軟性提示,不能保證強制停止。若要控制成本,還需要由執行平台或應用程式強制限制每次請求、每項任務與每日支出,並在達到門檻時中止工具呼叫。

Q:AI 代理停止後,如何避免工作全部重來?

A:在每個可驗證步驟保存檢查點,記錄已完成動作、輸入來源、工具結果、核准與失敗原因。停止時產生接手摘要,列出剩餘工作與安全重啟位置;關鍵流程同時保留人工或傳統系統的替代路徑。

Q:有成本上限後,對外寄信或批次更新可以全自動嗎?

A:不能只靠成本上限判斷。一次大量寄信或錯誤更新可能花費很低,卻造成客戶、資料與商譽影響。對外傳送、正式資料寫入、刪除、付款與權限變更等高影響動作,仍應另設逐次授權、批次上限與人工核准。

Q:中小企業應先替哪些 AI 代理建立停止條件?

A:先處理會長時間反覆執行、會呼叫付費模型或外部工具、能寫入正式資料、會對外傳送,以及失敗後難以復原的流程。可從客服工單、資料彙整、報價審查與行銷內容發布中,選一個高頻且可驗證的任務先建立控制表與停止演練。

由穹境科技 AI 情報系統生成 · 2026-09-14 · 資料來源見上方參考列表