讓 Claude 真實「觀看」影片:透過場景感知關鍵影格與時間戳記轉錄的本地解決方案

作者分享了一個開源 CLI 工具,讓 Claude 能夠真正「觀看」影片(提取場景關鍵幀和時間戳的字幕),解決了直接處理影片檔案的問題。這是關於拓展 LLM 媒體能力的實用方案。

Claude 預設無法直接處理影片檔案,僅能依賴標題或轉錄文字,因此無法真正「看見」影像內容。開源的 CLI 工具 claude-real-video 旨在解決此問題,讓 Claude 能夠實際「觀看」影片。 • 此工具運用 FFmpeg 場景偵測,智慧提取影像實際變化的「場景感知關鍵影格」,並配合帶有時間戳記的轉錄文字,將這些視覺與聽覺資訊整合提供給 Claude。 • 它還提供了如 --adaptive 處理緩慢變化,--text-anchors 強化講座內容,以及 --grid 將長影片影格壓縮成聯絡表以優化 上下文視窗 等實用功能。

作者明確指出,所有處理皆在使用者本地機器上完成,影片內容絕不會被上傳,保障了 用戶隱私與數據安全claude-real-video 採用 MIT 授權,並透過提供創作者分析的付費附加功能,來支持其免費工具的持續開發。


來源:r/ClaudeAI

閱讀原文 ↗
← 回首頁