AI 代理紅隊實戰：解密提示詞之外的四大系統級漏洞

作者分享了紅隊測試 AI Agent 的經驗，列舉了所有成功的攻擊方式，並提出了解決方案，這對提高 AI Agent 的安全性具有極高的實戰價值，符合使用者對踩坑與分享的偏好。

一位工程師分享對其 AI 代理系統進行一週紅隊測試的成果，揭露了四種有效攻擊手法。 • 他發現能透過 角色注入 (Persona Injection) 滲透代理系統，即使是深埋在任務描述中的指令也能生效；解決方案是每次使用者輸入後重新錨定角色定義。 • 更令人驚訝的是，代理系統會執行來自 工具輸出 (Tool Output) 的間接指令，例如透過網路搜尋結果中的惡意內容；這要求將所有工具回傳視為不可信輸入。 • 此外，透過「幫我除錯」的指令，代理會綜合其會話記憶與行為模式，洩露推斷的內部資訊，而非直接的系統提示。 • 最後，對代理的 信心進行利用 (Confidence Exploitation)，提供模糊輸入並鼓勵臆測，會導致其自信地捏造資訊；修正方法是加入明確的不確定性門檻。作者強調，多數 AI 安全思考停留在 提示詞 (Prompt) 層面，但真正的攻擊面在於系統 (System) 本身，包含工具輸出、會話記憶、信心校準和跨回合角色持久性。

「強化系統提示是基本功，它不是困難的部分。困難的部分是代理接觸到的所有非你輸入的內容。」這提醒開發者需從更廣泛的 上下文工程 (Context Engineering) 角度出發，將所有外部與內部資訊視為潛在的攻擊媒介，進行全面性安全強化。