「rtk」技能真能大省 Token?JetBrains AI 實測:非但無效反而更貴
作者對 rtk 這一款聲稱能顯著減少 Claude Code token 使用的插件進行了實際測試,結果發現與其宣傳效果大相徑庭,甚至有所增加。這種獨立、實測、誠實的踩坑分享,高度符合使用者對實戰技巧分享的偏好。
JetBrains AI 針對聲稱能將代理程式 Token 消耗減少 60-90% 的「rtk」(Rust Token Killer)技能進行了嚴格的實測驗證。這項 CLI 代理工具透過攔截並壓縮 Shell 命令輸出,旨在為模型提供更精簡的資訊。
實測揭示了多項關鍵發現: • 大多數代理程式的輸入內容,特別是透過內建工具讀取的文件,並未經過 rtk 的處理,使其影響的令牌總量上限僅約為輸入令牌的 3%。 • 啟用 rtk 的代理程式,在大多數任務中,平均 Token 成本增加了 7.6%,回合數增加 13.8%;在高推理努力下成本增幅雖消失,但 rtk 從未實現任何 Token 節省。 • 令人欣慰的是,rtk 對程式碼品質的影響微乎其微,其聲稱的潛在錯誤模式並未大量出現。
文章指出,rtk 自身的節省計分板存在嚴重誤導,因其計算方式與模型實際接收的令牌數量不符。
「這個計分板只是在批改自己的作業。」
最終結論是,rtk 雖是誠實的工程設計,但其節省 Token 的前提假設與實際情況不符,因此未能達成預期效益。
來源:JetBrains AI Blog
閱讀原文 ↗