Cursor 運用 Fireworks AI 推測解碼 API 實現程式碼「快速應用」：極速生成達每秒千字

Cursor 是一款 AI 原生整合開發環境（IDE），旨在協助開發者更快速地撰寫高品質程式碼。面對傳統大型語言模型（LLM）處理大型程式碼編輯時的延遲、不精確與懶惰等挑戰，Cursor 透過訓練專用模型來實現「快速應用」（Fast Apply）功能。該模型利用 Fireworks AI 的推測解碼 API 進行部署，此技術允許平行化生成大量詞元，並透過預先猜測與驗證大幅提升生成速度。Cursor 進一步發展出其**「推測編輯」變體，尤其擅長程式碼重寫，實現更長的推測序列。 • 藉助 Fireworks AI 的推論堆疊，Cursor 成功將其微調版 Llama-3-70b 模型**的程式碼生成速度提升至每秒約 1000 個詞元。 • 這項顯著的速度提升比傳統 Llama-3-70b 推論快約 13 倍，也比先前使用 GPT-4 推測編輯的部署快了約 9 倍。

Fireworks AI 致力於「為開發者和企業實現 AI 民主化」，提供快速且可靠的模型服務，其推測解碼功能透過簡單的 API 旗標即可啟用，極大化開發效率。