Claude-real-video: 로컬에서 어떤 LLM 이든 동영상을 실제로 보게 하세요
Claude-real-video － any LLM can watch a video
대부분의 AI 는 동영상 링크를 붙여넣으면 자막만 읽을 뿐 실제 영상을 보지 못합니다. 제가 만든 claude-real-video 는 로컬에서 실행되며, 고정된 간격이 아닌 장면 전환을 감지해 핵심 프레임만 추출하고 중복을 제거합니다. 이를 통해 YouTube 링크나 로컬 파일을 처리하여 LLM 이 영상 내용을 훨씬 더 정확하게 이해할 수 있도록 돕습니다.
대부분의 AI 도구는 동영상을 실제로 보지 못합니다. ChatGPT 에 YouTube 링크를 붙여넣으면 이미지가 아닌 자막만 읽습니다.
HN 토론
62- fzysingularity
Claude 로 영상을 보는 꽤 끔찍하게 비싼 방법입니다.
이 일을 훨씬 더 효율적으로 하려면 Gemini 나 로컬 VLM 을 사용하세요. 우리는 영상 이해에 꽤 많은 시간을 투자했는데, Claude 는 토큰만 태울 뿐입니다.
이 라이브러리를 확인해보세요: https://vlm-run.github.io/mm/
모델을 교체하고 다양한 영상 인코딩 방식을 시도해볼 수 있습니다 (https://vlm-run.github.io/mm/encoders/#video).
- bonoboTP
"영상이 가는 곳: 당신의 머신에 남습니다" - 아니요, 이 도구가 추출하는 프레임은 Claude 를 사용한다면 분명히 Anthropic 으로 전송됩니다.
- nickpeterson
현재 Fable 을 처벌하기 위해 7th Heaven 시리즈 전체를 보게 하고 있습니다.