透過 100 個 GRPO 訓練步驟微調 350M 模型以實現更好的結構化輸出

• 結構化輸出是大型語言模型在實際應用中最常見的任務之一，確保模型能穩定回傳符合請求格式與結構的資料至關重要。 • 本文探討如何利用 GRPO（群組相對策略優化） 與 TRL 套件，對輕量級的 350M 基礎模型 進行僅需 100 個訓練步驟的任務特定微調。 • 實作過程結合了 LoRA 適配器（訓練約 600 萬個參數）以及針對 JSON 格式、欄位數量與 Schema 驗證的多重獎勵函數。 • 資料增強技術透過加入程式碼區塊指令與頂層陣列任務，有效彌合了訓練資料與 IFStruct 評測基準之間的落實差距。

透過針對性的微調，小型模型能夠大幅提昇結構化輸出的效能，達到甚至匹敵遠大於自身規模之模型的表現。 • 最終產出的模型權重可合併並轉換為 GGUF 格式，透過 llama.cpp 在本機環境進行高效能的評估與部署。