如何透過提示詞工程最大化 Claude 的 10 万 Token 長上下文檢索能力
官方針對長上下文窗口(100k tokens)提供的提示詞工程指南與量化案例研究。
隨著 Claude 支援高達 10 萬 token 的長上下文視窗,使用者能夠直接處理數百頁甚至整本書的技術文件。Anthropic 官方近期透過量化案例研究,分享了兩項能顯著提升長文本資訊檢索準確度的關鍵技巧:
• 提取相關引文:在回答問題前,先要求模型在草稿區(scratchpad)中提取出與問題相關的參考引文。 • 補充少樣本範例:在提示詞中加入其他段落正確解答的範例(few-shot examples),引導模型掌握回答脈絡。
實驗結果顯示,透過結合草紙區引用與動態範例,能有效降低模型的錯誤率,大幅提升對長達 75K 至 95K token 文件的資訊召回率。
• 置放位置考量:雖然草稿區與範例能大幅改善文件開頭與中間內容的表現,但若置於提示詞末端,可能會因距離拉長而稍微影響結尾處資訊的處理。 • 指令最佳實踐:建議將操作指令放在提示詞的最末端,以確保模型對核心要求的記憶與遵從度達到最高。 • 減少模糊指代:在建構長文本問答時,應避免使用「這篇文件」等模糊字眼,確保問題本身具備足夠的明確性。
來源:Anthropic News
閱讀原文 ↗