Prompt Caching 如何將一致性幻覺檢測成本從 6 倍降至 1.5 倍

傳統的 黑盒一致性評分 需要多次採樣相同提示詞，往往導致高昂的 API 成本。 • 作者跨越 6 種模型與 4 家供應商進行實測，發現利用 Prompt Caching 後，6 次採樣的成本僅為單次呼叫的 1.55 至 2.52 倍。 • 由於一致性採樣會重複發送位元完全相同的提示詞，因此非常契合 前綴快取 的運作機制。 • 研究中推導出一個精確的 閉式成本模型（closed-form cost model），能完美預測不同快取比例下的實際費用。 • 實驗也揭露了現狀的限制，例如部分平臺雖有快取技術但未提供價格折扣，或是某些模型對短文本的快取支援不足。

一致性檢測能有效抓出幻覺，例如面對無解答的問題時，模型會給出相互矛盾的答案或憑空捏造法規。 • 此方法特別適用於 長文本情境，能讓開發者在兼顧預算的前提下有效提升 LLM 輸出可靠度。