杜絕資料外洩與 AI 胡言亂語：一款能為 LLM 清理提示並節省 60% 代幣的代理服務

介紹了一個代理 (proxy) 程式，能在將提示傳送給 LLM 前進行清理，包括聚類冗餘句子、清除敏感數據，並強制執行規則，聲稱可節省 60% 的 token 費用。

我們的團隊曾因不當的 AI 互動，遭遇同事外洩 受 NDA 約束的資料庫 的嚴重事件，同時大型語言模型（LLM）也常因過於冗長或雜亂的輸入而無法遵循關鍵指令。

作者指出，問題並非出在模型本身，而是「我們給予它垃圾訊息」。為此，他們開發了一個 提示清理代理 (prompt cleaning proxy)，在提示送達 LLM 之前進行處理。 • 這個代理能 集群冗餘語句、本地清除敏感數據，並 嚴格執行預設規則。 • 此外，它還會在生成後 驗證輸出，確保其非幻覺且未違反任何規則。該代理作為 中介軟體 運作，無需更改既有模型，並能 100% 離線運行。實際應用顯示，它成功將 代幣使用量削減 60%，並大幅降低了 無意義的輸出。鑑於這是一個普遍的難題且缺乏標準解決方案，團隊已將此代理開源，希望能幫助更多人。