DeepSeek API 推出磁碟上下文快取，API 成本大降 90%

DeepSeek API 宣布推出創新的人工智慧 磁碟上下文快取 (Context Caching on Disk) 技術，透過分散式磁碟陣列快取重複的使用者輸入內容。 • 該服務無需修改任何程式碼或介面，系統會自動運行並根據實際快取命中情況計費。 • 當快取命中時，費用僅需每百萬個 token $0.014 美元，使整體的 API 使用成本最高可減少 90%。 • 技術支援多輪對話、大型預設提示詞的 Q&A 助手、程式碼分析及 Few-shot 學習等典型應用場景。 • 針對含有大量重複輸入的 128K 提示詞請求，首字延遲可從 13 秒大幅縮短至 500 毫秒。 • 快取系統具備嚴格的安全性策略，確保每個使用者的快取資料互相隔離且會自動清除。

藉由 DeepSeek V2 的 MLA 架構縮減 KV 快取大小，DeepSeek 成為全球首家在 API 服務中大規模實作磁碟快取的大型語言模型提供商。