運用 DSPy 評估與優化 Datasette Agent 的 SQL 系統提示

• Simon Willison 正著手運用 DSPy 評估並改進 Datasette Agent 的 SQL 系統提示，以提升其回應使用者資料查詢的效率。 • Datasette Agent 具備執行唯讀 SQL 查詢的能力，可協助回答使用者關於資料的問題。 • 藉由 Claude Fable 5 的輔助，並利用 GPT 4.1 mini 與 nano 進行測試，此項研究揭示了數個潛在的優化方向。 • 發現原始提示中關於「若已掌握資訊，勿調用 describe_table」的建議，導致 Datasette Agent 在基準追蹤中出現欄位名稱猜測及錯誤重試迴圈。 • schema listing 的不足是關鍵問題，它僅提供表格名稱而缺少欄位細節。

作者強烈建議：「要麼在提示的結構列表中包含欄位名稱，要麼軟化該建議。」 • 主要改進方向是，應直接在提示的 結構列表 中包含 欄位名稱，以避免不必要的推測並提高查詢準確性。