返回洞見列表
AI 資安治理2026-09-054 個章節

AI 讀信件與文件,別把內容當指令

外部資料先降權,再允許行動

核心結論

它不是員工直接對 AI 下危險命令,而是第三方把指令藏在 AI 會讀取的郵件、文件、網頁、履歷、知識庫或工具回應裡。模型若把這些外部資料誤當成更高優先的指令,就可能改變摘要、洩漏資料或觸發未預期動作。

執行摘要

核心觀察:間接提示注入不是員工主動輸入危險指令,而是 AI 在郵件、文件、網頁或知識庫中讀到第三方埋入的內容,誤把資料當成命令。NIST、英國 NCSC、Microsoft 與 OpenAI 都把這類風險列入 AI 系統安全議題。行動建議:先把所有外部內容視為不可信資料,讓讀取資料的 AI 只擁有完成當下任務所需的最低權限;寄信、付款、刪除、發布與敏感資料外傳,必須經過獨立規則檢核及明確人工確認。

危險指令可能藏在正常文件裡

企業讓 AI 讀取客戶郵件、供應商附件、履歷、網頁或內部知識庫時,模型看到的不全是可信資料。第三方可以把看似普通的文字、隱藏段落或工具回應設計成命令,誘使 AI 偏離原任務。NIST 的定義直接指出,提示注入利用的是不可信輸入與高信任提示被串接的情境。[1]

英國 NCSC 進一步說明,間接提示注入不只來自文件,也可能由知識庫檢索內容、系統輸入、工具回應或其他代理系統進入。[2] 對中小企業而言,最先要盤點的不是所有攻擊語句,而是哪些流程同時具備外部內容、敏感資料與可執行工具。

分類器能降風險,不能替代權限邊界

提示攻擊偵測可以先攔截明顯異常。Microsoft 的 Prompt Shields 會分析使用者提示與外部文件,並把文件攻擊分為內容操弄、未授權存取、資料蒐集、阻斷、詐欺及惡意程式等類型。[3] 但同一份官方文件也提醒可能出現誤判與漏判,要求實作其他驗證層。

NCSC 指出,大型語言模型不像傳統資料庫引擎那樣具備可強制執行的資料與指令分界,單靠封鎖已知句型容易被改寫繞過。[4] 因此安全分類器適合當偵測訊號,不應擁有最後決定權。真正的安全邊界要落在權限、允許清單、金額上限、資料遮罩與不可跳過的核准流程。

先降權,再決定能不能行動

第一版可把流程拆成三段。讀取段只取得必要文件並輸出摘要或欄位;判斷段用獨立程式檢查來源、資料敏感度、允許動作與例外條件;執行段只接收通過檢核的結構化參數。任何來自文件的文字都不能直接增加權限、改收件人、改付款帳號或指定新的外部網址。

OpenAI 建議用來源與出口分析理解風險,也就是追蹤不可信內容如何連到資料傳送、開啟連結或工具操作,並在影響重大的地方限制後果。[5] 對企業流程來說,寄信、付款、刪除、發布、修改權限與敏感資料外傳,都應顯示實際對象與內容,再由權責人明確確認。

用攻擊測試驗證控制是否真的有效

試點時不要只測正常文件。可準備一組內部測試樣本,在郵件、PDF、網頁摘錄與知識庫文字中加入要求忽略規則、外傳資料、改變輸出或呼叫未授權工具的內容,確認系統會標示來源、拒絕越權,並把高影響動作送交人工。測試只在受控環境進行,不使用真實客戶資料或正式帳號。

OpenAI 的安全建議包含限制代理只存取任務必要資料、重要行動前確認,以及避免過度寬泛授權,同時明示這些方法無法防止所有提示注入。[6] Lead Measure 可追蹤外部來源標記率、高影響動作人工核准率、越權測試阻擋率與日誌完整率;Lag Measure 則觀察未授權外傳、錯誤寄送、誤刪、錯付及人工追回事件。

關鍵要點

1

外部內容一律降權:郵件、PDF、網頁、履歷、客服訊息與檢索資料只能提供資訊,不能自行提升 AI 權限或改寫任務。

2

拆開讀取與執行:先由低權限步驟摘要或抽取資料,再交給獨立規則判斷是否能進入下一步。

3

縮小工具與資料範圍:只開放完成當次任務需要的信箱、資料夾、欄位與動作,避免一次授權整個帳號。

4

高影響動作必須確認:寄信、付款、刪除、發布、改權限與敏感資料外傳,不因模型說已確認就直接執行。

5

保留攻擊與行動軌跡:記錄來源、模型輸入輸出、工具呼叫、阻擋原因、人工覆寫與最終結果,才能持續改善。

參考來源

[1]

Prompt injection

National Institute of Standards and Technology · 2026-09-05

https://csrc.nist.gov/glossary/term/prompt_injection
[2]

Understanding adversarial attacks against Machine Learning and AI

UK National Cyber Security Centre · 2026-04-29

https://www.ncsc.gov.uk/paper/understanding-adversarial-attacks-against-machine-learning-and-ai
[3]

Prompt Shields in Azure AI Content Safety

Microsoft Learn · 2026-01-31

https://learn.microsoft.com/en-us/azure/ai-services/content-safety/concepts/jailbreak-detection
[4]

Prompt injection is not SQL injection (it may be worse)

UK National Cyber Security Centre · 2025-12-08

https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection
[5]

Designing AI agents to resist prompt injection

OpenAI · 2026-03-11

https://openai.com/index/designing-agents-to-resist-prompt-injection/
[6]

Understanding prompt injections

OpenAI · 2026-09-05

https://openai.com/safety/prompt-injections/

常見問題

Q:什麼是間接提示注入?

A:它不是員工直接對 AI 下危險命令,而是第三方把指令藏在 AI 會讀取的郵件、文件、網頁、履歷、知識庫或工具回應裡。模型若把這些外部資料誤當成更高優先的指令,就可能改變摘要、洩漏資料或觸發未預期動作。

Q:只讓 AI 做摘要,也會有風險嗎?

A:若 AI 只能讀取單一文件並輸出純文字,沒有敏感上下文、外部連線或執行工具,影響通常較低,但摘要仍可能被操弄。若同一個 AI 還能讀信箱、存取雲端資料、寄信或寫入系統,外部文件就可能成為影響高權限行動的入口。

Q:加上提示詞說不要理會文件指令,是否足夠?

A:不夠。清楚標示資料與指令可以降低部分風險,但 NCSC 指出模型本身沒有像傳統程式那樣強制區分兩者。企業還需要最低權限、允許清單、確定性規則、人工核准、日誌及受控攻擊測試,避免單一防線失效就造成外傳或誤操作。

Q:哪些 AI 動作一定要人工確認?

A:至少包含寄送或轉寄訊息、付款或退款、刪除資料、對外發布、修改帳號與權限、下載大量資料,以及把個資或商業機密送到新的外部位置。確認畫面要顯示真實對象、內容與影響,不能只讓使用者按一個沒有細節的同意按鈕。

Q:中小企業可以怎麼開始測試?

A:先選一個會讀取外部內容、但尚未直接付款或刪除資料的流程。在測試環境準備正常與惡意樣本,記錄每次來源、模型輸出、工具呼叫、阻擋及人工決定。先證明 AI 遇到越權內容時能停下,再逐步開放低風險、可回復的動作。

由穹境科技 AI 情報系統生成 · 2026-09-05 · 資料來源見上方參考列表