我寫了一個記憶層:用決定性程式碼而非模型來決定儲存內容,並在上市前夜抓出三個重大臭蟲
深入探討如何透過確定性程式碼而非模型本身來決定記憶儲存路徑,解決模型幻覺帶來的錯誤長期記錄問題。
• 傳統的 AI 記憶庫常由會產生幻覺的模型來決定儲存內容,導致長期紀錄失真且難以追溯。• 作者開發了全新的寫入機制:模型僅負責提出聲明與引文,並由無推論能力的決定性程式碼進行嚴格審查。• 系統具備位元範圍參照(receipts)與可證明的資料抹除功能,確保事實有所本且能安全刪除特定主體。• > 讓程式碼作為防火牆,要求聲明不得超越證據支援,若超出則拒絕並給予明確的型別化拒絕原因。• 作者在上市前夜親自對套件進行壓力測試,藉由嚴格的測試框架成功抓出並修復了三個致命臭蟲。• 目前專案在**檢索(recall)能力上仍有約 25% 至 37% 的拒絕率,但寫入路徑已經相當穩固。• 採用本機優先(Local-first)**架構,具備零依賴、無 API 金鑰與不需 GPU 的特點,資料格式完全開源且獨立於專案壽命。
來源:r/LLMDevs
閱讀原文 ↗