掌握大型語言模型的推論努力：學習與控制不同層次的思考模式

Sebastian Raschka 的文章探討了 LLM 如何學習不同程度的推理模式（低、中、高）。這對於理解和控制 LLM 的行為，進而優化其在實際應用中的表現，具有基礎性的指導意義。

• 本文探討了如何控制大型語言模型（LLMs）的推論努力，以及它們如何學習低、中、高不同強度的推論模式。 • 作者首先定義了推論模型，解釋其並非字面意義上的人類思考，而是能輸出中間推論軌跡，透過逐步處理來回答問題。 • 提升推論表現主要有兩條途徑：訓練擴展和推論擴展。 • 訓練擴展的核心是採用強化學習與可驗證獎勵（RLVR），透過數學或程式碼等可驗證領域的結果正確性提供獎勵，促使模型學習自我修正並產生「頓悟時刻」。 • 推論擴展則是在模型使用階段投入更多運算資源，包括調整推論努力水平和利用自洽性（透過多重查詢進行多數決）等技術以獲得更佳答案。 • 文章也澄清，類似 <think> 的標籤在推論能力上僅為裝飾性，其主要目的是標記推論軌跡以供分離或隱藏，並非賦予模型思考能力。 • 這些方法共同使具備多種推論努力模式的模型成為現代LLM發布的標準部分，有效控制其「思考」深度與資源消耗。