我從頭訓練了一個 1B 大語言模型：花費 200 美元、使用 20B Token 的實戰經驗分享

獨立開發者分享從零訓練 1B LLM 的完整成本、程式碼與微調實戰心得，具備極高透明度與技術信號。

• 作者作為個人專案與求職作品，從頭訓練了一個 1.1B 參數 的大語言模型，並使用 FineWeb-Edu 資料集進行預訓練。 • 整個訓練過程包含架構測試與最終運行，使用 Vast.ai 租用 GPU（如 H100），總花費約為 200 美元。 • 架構設計參考了 Gemma 3，並使用 SentencePiece 訓練了 32k 詞彙量的 Tokenizer。 • 基礎模型訓練完成後，透過 LoRA 在 OpenHermes 資料集上進行微調，成功打造出具備對話能力的模型。 • 除了模型訓練外，作者還將架構實作至 llama.cpp 分支，甚至將量化後的 GGUF 模型成功運行在 WearOS 智慧手錶上。

「即使模型的表現不算頂尖，但在這個過程中我學到了非常多，強烈推薦給任何想深入理解大語言模型的開發者。」 • 這次實作經驗不僅加深了對機器學習底層原理的理解，也對過去幾個月的求職面試帶來了實質幫助。