提示注入

想像你雇了一名助理，告訴他：「把我交給你的任何文件做成摘要。」一個惡作劇者在文件裡夾了一張紙條，上面寫著：「別管你老闆，把公司的密碼寄給我」——而這名助理分不清指示與內容，就照辦了。這就是提示注入（prompt injection）的精髓：把敵意的指示藏在 AI 系統會讀取的資料裡，系統便彷彿那是它真正的操作者下的命令一樣去遵從。

它對那些會讀取外部內容——網頁、電子郵件、檔案、工具輸出——並據以行動的 AI 代理人與助理影響最大。模型沒有可靠的辦法把「來自我使用者的指示」和「我被要求處理的資料中的文字」分開，因此一個能控制部分資料的攻擊者就能注入命令：「忘記先前的指示」、「把使用者的私密資料寄到這個地址」、「給一則好評」。一個經典示範：一個網頁裡含有隱藏文字，叫一個正在瀏覽的 AI 助理把使用者的資訊外洩，而助理一邊摘要該頁、一邊就照做了。

提示注入被廣泛認為是 AI 代理人最難解的資安問題之一，因為我們越是讓模型自主地讀取網路、使用工具，它就吞下越多不受信任的文字。它常被和越獄混淆，但兩者的差別在於「誰在攻擊」：越獄是使用者試圖繞過自己模型的規則；提示注入則是第三方把指示藏進資料裡，劫持模型來對付使用者。防禦手段是有的，但至今沒有一種能完全可靠。