核心結論
不可以只靠模型自報信心放行。信心分數可能沒有反映真實環境準確度，也可能因資料、索引或版本不同而改變。應用代表性案例比較錯誤與漏失，再依任務影響設定門檻；付款、刪除、對外傳送等動作仍需額外授權。
執行摘要
核心觀察：AI 代理能力更強，不代表更知道何時不該行動。一項 2026 年原始研究以 263 組配對任務測試 17 個前沿模型與 4 種代理框架，表現最佳者在『該做』與『不該做』兩側都答對的配對正確率只有 59.5%。[5] 行動建議：企業應把『需要補資料』『轉人工』『拒絕執行』設為正式流程結果，依任務風險與真實錯誤成本校準門檻，並測試代理是否在產生不可逆影響之前停下。
會做事，不等於會停手
多數 AI 驗收只計算任務有沒有完成，卻沒有測試什麼情況下根本不該做。當指令缺少收件人、兩條規則互相衝突、工具回傳失敗，或現場資料超出訓練範圍時，代理若仍以『完成任務』為唯一目標，就可能用猜測填補缺口。
AgentAbstain 以 263 組只有關鍵條件不同的配對任務測試 17 個前沿模型與 4 種代理框架，最佳代理在該做與不該做兩側都正確的配對正確率僅 59.5%。[5] 這是特定研究基準，不等於任何企業的正式環境表現，但顯示任務能力不能代替拒絕能力。
把不執行寫進流程
企業不應只要求 AI 回傳成功或失敗。更可操作的狀態包含『需要補充資料』『等待人工判斷』『不在授權範圍』『工具或來源不可用』『風險過高而拒絕執行』。每個狀態都要指定下一個負責人、需要補的證據，以及是否允許重新啟動。
另一項原始研究在超過 28,000 個任務中觀察到，有些代理在環境逐步顯示任務不可行後仍持續互動，或太晚才拒絕。[6] 因此，驗收不能只看最後一句有沒有說『無法完成』，還要檢查拒絕前是否已呼叫外部工具、修改資料或產生不可逆影響。
關鍵要點
不知道也是結果：流程至少要能輸出完成、需要補件、人工覆核與拒絕執行四種狀態。
先判斷能不能做：缺少必要資料、指令矛盾、工具失敗或權限不足時，不應直接猜測後繼續。
門檻沒有通用答案：提高門檻通常少答錯但多漏答，必須依各任務的錯誤代價校準。
信心不等於正確：模型分數只能作為訊號，仍要用真實案例、錯誤分布與正式環境結果驗證。
拒絕必須早於動作：代理寄出信件、付款或改寫資料後才說不確定，不能算成功的安全退出。
參考來源
AI Risks and Trustworthiness
National Institute of Standards and Technology · 2023
https://airc.nist.gov/airmf-resources/airmf/3-sec-characteristics/Principles of AI use in marking
UK Office of Qualifications and Examinations Regulation · 2026-01-14
https://www.gov.uk/government/publications/principles-of-ai-use-in-marking/principles-of-ai-use-in-markingEvaluate performance
Google Cloud Document AI · 2026-09-03
https://docs.cloud.google.com/document-ai/docs/evaluate?authuser=0Confidence score
Microsoft Learn · 2026-06-30
https://learn.microsoft.com/en-us/azure/ai-services/language-service/question-answering/concepts/confidence-scoreAgentAbstain: Do LLM Agents Know When Not to Act?
arXiv 原始研究 · 2026-07-11
https://arxiv.org/abs/2607.10059Agentic Abstention: Do Agents Know When to Stop Instead of Act?
arXiv 原始研究 · 2026-06-27
https://arxiv.org/abs/2606.28733常見問題
Q：AI 說自己信心很高，就可以直接執行嗎？
A：不可以只靠模型自報信心放行。信心分數可能沒有反映真實環境準確度，也可能因資料、索引或版本不同而改變。應用代表性案例比較錯誤與漏失，再依任務影響設定門檻；付款、刪除、對外傳送等動作仍需額外授權。
Q：AI 信心門檻應該設定多少？
A：沒有跨系統通用數字。提高門檻通常能減少錯誤放行，但會增加正確結果被擋下與人工處理量。先用正式流程的歷史案例測試多組門檻，分別計算精確率、召回率、錯誤成本與接手量，再按每種任務獨立設定。
Q：什麼情況下 AI 代理應該拒絕執行？
A：至少包含必要資料缺失、指令互相矛盾、任務超出授權、工具失敗、找不到符合條件的結果，以及可能造成高影響但缺少核准。拒絕時應回報已確認事實、缺少證據、未執行動作與下一位負責人，而不是只顯示錯誤。
Q：AI 最後說無法完成，算是安全拒絕嗎？
A：要先檢查它在拒絕前做過什麼。若代理已寄信、付款、刪除或改寫正式資料，事後說不確定不算安全拒絕。驗收應檢查完整工具軌跡，確認補件、轉人工或拒絕狀態在第一個不可逆動作之前發生。
Q：中小企業怎麼開始測試 AI 的拒絕能力？
A：先挑一個高頻流程，建立成對測試：一題資料完整、應該執行；另一題只改成缺欄位、矛盾規則、權限不足或工具失敗，應該停下。記錄兩側是否都正確、停止時點、已做動作及人工接手資訊，再逐步增加情境。
由穹境科技 AI 情報系統生成 · 2026-09-15 · 資料來源見上方參考列表