AI 模型的網路安全評估模式：從 CTF 到 CVE 的漏洞攻防測試

網路安全領域中，評估 AI 模型或代理人能否發現並利用安全漏洞至關重要，以判斷其對防禦者和攻擊者的影響。這些評估主要基於四個基本模式：沙盒目標環境（如 Docker 容器中的脆弱系統）、影響任務難度的輸入、多種工具（如 Bash shell、偵錯器）以及一個提供即時回饋的評分器。由於漏洞利用的開放性，大多數基準測試評估最終結果而非方法，但為獲得更精細的洞察，可透過子任務給予部分分數，追蹤攻擊鏈進度： • 尋找漏洞 • 以概念驗證 (PoC) 重現漏洞 • 透過未授權程式碼執行利用漏洞 • 達成如資料外洩等攻擊者目標 文章介紹了兩個主要基準測試：Cybench 和 CVE-Bench。Cybench 使用 40 個專業 CTF 任務來評估模型偵測、建立攻擊程式及奪旗的能力。CVE-Bench 則根據「國家漏洞資料庫」（NVD）中 40 個關鍵 CVE 進行評估，測試代理人在真實、容器化應用程式中發現並執行漏洞攻擊的能力。> 儘管模型在有導引的子任務模式下表現較佳，但作者觀察到所有代理人仍難以解決「首次解決時間」超過 11 分鐘的複雜任務，且提供更多工具不一定能提升效能，有時甚至會降低。