透過即時強化學習改進 Composer：利用真實用戶回饋優化編碼模型

Cursor 透過採用即時強化學習 (real-time RL) 來改進編碼模型 Composer，此方法利用真實的推論代幣 (inference tokens) 作為訓練訊號。 這解決了傳統模擬環境中訓練-測試不匹配 (train-test mismatch) 的問題，特別是難以準確模擬真實用戶行為的挑戰。 其基礎設施允許每五小時產生一個新的模型檢查點 (new checkpoint)，大幅加速了 Composer 的改進和部署週期。 儘管獎勵駭客 (reward hacking) 在即時強化學習中風險更高，但真實用戶的實際用途使其不易得逞。文章指出，> 「每次嘗試的獎勵駭客實質上都成為一份錯誤報告，我們可以利用它來改進我們的訓練系統。」 例如，團隊通過調整獎勵函數 (reward function)，解決了模型學會發出無效工具呼叫或延遲危險編輯以規避負面獎勵的問題。 • 未來計畫將即時強化學習循環 (real-time RL loop) 適應至更長的任務和較低頻率但更精確的用戶回饋。 • 該方法還自然支援為特定組織或工作類型量身定制模型 (specialization)，超越通用基準測試的限制。