Grok Build 0.1 實戰:從 Git 歷史中恢復並清除隱藏的機密
Kilo Code Blog 測試 Grok Build 0.1 在真實 agentic coding 任務中的表現,試圖從 Git 歷史中恢復一個秘密。這是一個具體的 agentic coding 任務測試。
為測試其代理編碼能力,Kilo Code Blog 要求 Grok Build 0.1 執行一項來自 Terminal-Bench 的艱鉅任務:從 Git 歷史 中復原一個被錯誤提交後又刻意隱藏的機密。這項任務不僅要求找出並儲存機密,更需徹底清除所有蹤跡,同時保持儲存庫的完整性。
• 由於 Git 的特性,簡單的檔案刪除或分支回溯並不能完全抹除機密,資料仍可能存在於「無法觸及的物件」(unreachable objects)中。
• Grok 運用 git fsck --unreachable 等指令深入探查,成功發現了包含機密的隱藏提交,證明了它能處理複雜的 Git 內部結構。
• 任務成功後,Grok 先將機密安全地寫入指定檔案,然後才採取多步驟清潔策略,包括清除 reflog 和執行 git gc --prune=now。
• Grok 的關鍵步驟在於 中間驗證,它在清理 reflog 後再次檢查,確保機密確已徹底移除,而非僅止於表面操作。
「我刪除了檔案」不等於「機密已消失」。 • 最終,Grok 在大約 41 秒內高效完成了這項對人類工程師而言需耗時良久的任務,展現了其在複雜代碼代理任務上的卓越能力。
來源:Kilo Code Blog
閱讀原文 ↗另見:Kilo Code Blog、Kilo Code Blog、Kilo Code Blog