「修訂提示詞」技術：如何提升工業級大語言模型流程的效率與一致性

在自動化處理大語言模型（LLM）任務時，傳統的重複執行方式常面臨缺乏一致性以及高昂的時間與 Token 成本問題。

• 修訂提示詞 (Revision Prompting) 是一種專為工業級工作流程設計的新方法，透過比對輸入與輸出的差異來更新結果。 • 當輸入資料更新時，系統會將原始指令、舊輸入、舊輸出以及輸入差異（diff）一同傳送給 LLM。 • LLM 僅需生成 輸出補丁 (OutputPatch) 來修改必要部分，而非重新生成完整內容。

這種做法能確保未更動的內容保持不變，大幅提升前後版本的一致性。

• 在實際應用中，修訂提示詞能將處理時間縮短約 80%，並降低約 65% 的運行成本。 • 透過將大量輸出 Token 轉為較便宜的輸入 Token，並善用提示詞快取，能顯著優化自動化管線的經濟效益。