JetBrains 推出 Kotlin 基準測試：評估 AI 編碼代理於實際 Kotlin 任務的表現

JetBrains 正式推出 Kotlin 基準測試，這是其官方用於評估 AI 編碼代理在 Kotlin 軟體工程任務 上的基準。 不同於專注於模型語法理解的現有工具，此基準測試著重於評估 AI 代理在 現有 Kotlin 專案中完成驗證的軟體工程任務 的能力。 • 資料集包含 105 項源自活躍開源儲存庫的工程任務，要求 AI 代理從解讀問題、理解專案上下文到生成並通過測試驗證的功能性修補程式。 • 初步評估顯示，領先的編碼代理能夠完成大部分任務，其中 Claude Code 表現最佳；評估結果與詳細資訊可於官方 排行榜 查閱。

對於評估編碼代理的團隊而言，此基準提供了一個共享的參考框架，用以比較不同配置在 Kotlin 任務上的表現，而非僅依賴廠商說法。 • 該基準建立在 開源 Multi-SWE-bench 基礎設施 之上，所有資料集和測試工具均公開可用，未來計畫擴展至更多 Kotlin 生態系統、評估指標及代理模型。