核心結論
不夠。時間上限只能處理最晚何時停止,無法及早發現重複錯誤或沒有進展。至少還要定義完成證據、連續失敗次數、重複工具結果、最大步數、工具呼叫、Token 與成本,並規定何時轉交人工。
執行摘要
核心觀察:AI 代理會規劃、反覆呼叫工具並直接改變外部系統;若回饋路徑沒有有效邊界,一個請求可能擴大為長時間模型呼叫、成本耗盡、脈絡膨脹與重複外部動作。2026 年一項原始研究掃描 6,549 個 LLM 代理儲存庫,經人工複核確認 47 個專案存在 68 個無限代理迴圈問題。[6] 行動建議:先定義任務完成與無進展條件,再由系統強制限制步數、工具呼叫、時間、Token 與成本;高影響動作另設人工核准,並準備代理本身無法關閉的外部停止機制。
代理還在跑,不代表任務還在前進
一般聊天機器人回覆一次就結束,AI 代理則可能把目標拆成多步、反覆呼叫模型與工具,並依中間結果重新規劃。當回饋路徑沒有有效邊界,錯誤不只是一段答案不準,而可能變成長時間執行、成本耗盡、脈絡膨脹或重複寫入外部系統。[3][6]
2026 年的原始研究掃描 6,549 個 LLM 代理儲存庫,提出 74 個潛在發現,人工複核確認 47 個專案存在 68 個無限代理迴圈問題,精確率為 91.9%。[6] 這代表程式碼裡的無界回饋路徑確實可被發現,但研究樣本不能直接當成所有正式環境的事故率。
停止條件要同時看成功、失敗與無進展
只設定『最多跑 30 分鐘』不夠。任務開始前應先定義完成證據,例如檔案已生成且通過檢查、指定 API 回傳成功、客戶資料已由人工核准。失敗條件則包括連續錯誤、必要資料缺失、權限不足與風險門檻超標。無進展條件用來捕捉代理沒有報錯、卻持續重複相同計畫、工具結果或交接的情況。
Microsoft 建議在代理的規劃層加入步數與迭代限制、迴圈偵測、預算與成本上限。[3] 對中小企業而言,可以先做一張任務控制表,逐項記錄最大步數、工具呼叫次數、執行時間、Token、金額、連續失敗次數,以及何時改交人工處理。
關鍵要點
先定義完成,再啟動代理:每個任務都要有可驗證的交付物、成功條件與停止狀態。
沒有進展也要停:同一錯誤、同一工具結果或同一計畫重複出現時,不應只等時間上限。
軟預算不是硬上限:模型可依預算調整節奏,但系統仍要強制限制步數、時間、Token、成本與工具次數。
外部動作另設核准:便宜的自動寄信或批次更新仍可能造成大規模錯誤,不能只靠成本上限。
停止之後必須可接手:保留檢查點、操作紀錄、未完成項目與人工替代流程,讓人能安全恢復工作。
參考來源
Agent cost governance and continuous optimization
Amazon Web Services · 2026
https://docs.aws.amazon.com/wellarchitected/latest/agentic-ai-lens/agentcost07.htmlTask budgets
Anthropic Claude Platform · 2026-03-13
https://platform.claude.com/docs/en/build-with-claude/task-budgetsAI agent shared responsibility model
Microsoft Learn · 2026-08-26
https://learn.microsoft.com/en-us/azure/security/fundamentals/shared-responsibility-ai-agentGuide on the Use of Agentic Artificial Intelligence
Government of Canada · 2026-05-22
https://www.canada.ca/en/government/system/digital-government/digital-government-innovations/responsible-use-ai/guide-use-agentic-artificial-intelligence.htmlGuidance for AI adoption: foundations
Australian Government National AI Centre · 2026-05-05
https://www.ai.gov.au/staying-safe-and-responsible/essential-ai-practices/guidance-ai-adoption-foundationsWhen Agents Do Not Stop: Uncovering Infinite Agentic Loops in LLM Agents
arXiv 原始研究 · 2026-07-02
https://arxiv.org/abs/2607.01641常見問題
Q:AI 代理設定執行時間上限就夠了嗎?
A:不夠。時間上限只能處理最晚何時停止,無法及早發現重複錯誤或沒有進展。至少還要定義完成證據、連續失敗次數、重複工具結果、最大步數、工具呼叫、Token 與成本,並規定何時轉交人工。
Q:Token 預算可以保證 AI 代理不超支嗎?
A:要看實作。模型可見的 task budget 可能只是協助模型自行調整節奏的軟性提示,不能保證強制停止。若要控制成本,還需要由執行平台或應用程式強制限制每次請求、每項任務與每日支出,並在達到門檻時中止工具呼叫。
Q:AI 代理停止後,如何避免工作全部重來?
A:在每個可驗證步驟保存檢查點,記錄已完成動作、輸入來源、工具結果、核准與失敗原因。停止時產生接手摘要,列出剩餘工作與安全重啟位置;關鍵流程同時保留人工或傳統系統的替代路徑。
Q:有成本上限後,對外寄信或批次更新可以全自動嗎?
A:不能只靠成本上限判斷。一次大量寄信或錯誤更新可能花費很低,卻造成客戶、資料與商譽影響。對外傳送、正式資料寫入、刪除、付款與權限變更等高影響動作,仍應另設逐次授權、批次上限與人工核准。
Q:中小企業應先替哪些 AI 代理建立停止條件?
A:先處理會長時間反覆執行、會呼叫付費模型或外部工具、能寫入正式資料、會對外傳送,以及失敗後難以復原的流程。可從客服工單、資料彙整、報價審查與行銷內容發布中,選一個高頻且可驗證的任務先建立控制表與停止演練。
由穹境科技 AI 情報系統生成 · 2026-09-14 · 資料來源見上方參考列表