別急著分類,讓 AI 自由發揮幻覺!巧妙解決標籤過多難題

Simon Willison 分享不使用傳統分類改用向量檢索與幻覺技巧來標記內容的獨特方法,極具實戰啟發

• 面對擁有大量歷史標籤的部落格時,直接將所有選項餵給 LLM(大型語言模型) 往往不可行。 • 軟體工程師 Doug Turnbull 提出了一種創新解法:跳脫既有框架,鼓勵模型針對內容自由想像並「幻覺」出適合的標籤。 • 透過在提示詞中提供具體的分類範例格式,引導模型產出符合結構的新穎分類。 • 接著,利用 向量嵌入(Vector Embeddings) 比對產生的標籤與現有詞彙庫,找出語意最接近的具體標籤。

「告訴模型在不了解現有詞彙的情況下輸出標籤,再利用向量嵌入在既有語料庫中尋找最接近的真實標籤。」 • 這種方法有效克服了大型分類系統中受限於上下文長度的瓶頸,提供了一種更具彈性的自動標註策略。


來源:Simon Willison

閱讀原文 ↗

另見:Hacker News

← 回首頁