LLM 提示詞的隱形蝴蝶效應：修復一個問題，為何常默默破壞另一個？

在大型語言模型的開發中，調整提示詞往往會引發意料之外的連鎖反應。當你為了解決特定錯誤而強化某項指令時，模型可能會在不知不覺中犧牲其他任務的表現。

• 提示詞並非獨立規則的集合，而是一個互相權衡的整體段落。 • 當輸出長度或注意力有限時，賦予某個指令更多權重，等同於悄悄剝奪了其他指令的優先級。 • 這類**靜默迴歸（Silent Regression）**通常不會產生任何錯誤訊息或程式碼差異比對。

唯一能有效抓出這類問題的習慣，是在每次修改提示詞後，重新執行一組固定且包含各種情況的測試集。

• 多數提示詞的退化往往在線上悄悄發生，因為開發者通常只驗證剛修復的那個特例。 • 建立自動化的回歸測試，才能確保昨天的正確輸出不會在今天默默失效。