單次測試就決定更換平價 LLM？小心你只是運氣好

在評估大語言模型時，僅憑單次測試的結果來決定是否切換至較便宜的模型，往往會忽略模型表現的隨機變異。作者透過實測發現，相同任務在多次運行下結果波動劇烈，單次執行根本無法看出真實的穩定度與差距。

• 實驗顯示多次測試的表現起伏很大，若剛好挑到第三次看似平分秋色的結果，很容易讓人誤判並貿然上線便宜模型。 • 供應商常利用 best-of-3 的優化數據來美化模型表現，導致實際整合後落差顯著。 • 樣本數不足時，統計學上的「未達顯著差異」並不等於「兩者表現對等」。

單次運行只能得出平均值，卻無法展現數據的分散程度，隱藏了極高的評估風險。

為了突破人工撰寫測試集成本高昂的限制，作者建議利用代理程式查詢資料庫的真實事實來自動生成新任務，透過擴大樣本數量來取得更精確的信賴區間。開發者在評估模型替換時，應避免僅依賴單次或少數幾次測試，而需建立實際的統計區間來確保品質。