追尋本地LLM極致效能：5張Pro 6000s與5090的燒錢與散熱挑戰

• 作者原想為本地大型語言模型添購第二張5090顯示卡，卻意外踏上建構極致系統的昂貴旅程。 • 為了追求更大的VRAM與更長的上下文長度，他逐步將顯示卡陣列升級，最終配置為五張Pro 6000s與一張5090。 • 升級過程中面臨諸多硬體挑戰，特別是當多張Pro 6000s並排時，產生嚴重的散熱問題，需要訂製機箱、額外風扇甚至第二顆電源供應器。 • 儘管困難重重，結合GLM 5.2發布，最終的顯示卡陣列讓作者實現了98-99%的模型完成度，並擁有充裕的上下文與側掛程式空間。 • 然而，作者明確指出：「> 這是一場糟糕透頂的主意。絕對不要這樣做。」 • 他計算，若以生成代幣的速度計算，需要超過十年才能回本，且不包含龐大的電費，證明了這次投入的成本效益極低。 • 雖然過程艱辛且不符經濟效益，作者仍形容這是一趟「有趣的旅程」，但他不會建議其他人效仿。