AI Agent「原始人模式」:真能省下 65% Token?JetBrains 實測揭秘
這篇文章實際測試了 Caveman 的 token 壓縮效果,並與其宣稱的效益進行比較,提供真實的實戰評估與發現,具備高度的參考價值。
JetBrains AI 對「Caveman」(原始人模式)技能進行了深入測試,該技能聲稱能讓 AI Agent 以更簡潔方式溝通,並節省高達 65% 的 Token。 • 在針對 程式碼 Agent 任務 的實測中,Token 節省幅度僅約 8.5%,遠低於廣告宣稱的 65%,這是因為此技能會刻意保留程式碼、工具呼叫等關鍵輸出,只壓縮了少量的敘述性文字。 • 經過 82 個配對任務的評估,並 沒有檢測到任何可量化的品質下降,Agent 的產出品質在統計上與未啟用技能時無異。 • 儘管預期可節省約 10% 的成本,但這種節省效果被認為「脆弱」,單一任務的異常便可能完全抵銷所有潛在效益。
JetBrains 建議:「原始人模式」使用起來很有趣,且不會對品質造成任何可衡量的損害,因此如果你喜歡它,大可使用。然而,對於日常的 Agent 任務,不應期待大幅節省,高個位數的百分比已是實際的上限。
來源:JetBrains AI Blog
閱讀原文 ↗