Frame-Auswahl ist das ganze Spiel: Wie LLMs Videos wirklich sehen
Frame selection is the whole game: notes on making LLMs watch video
Videos sind teuer für LLMs, aber die Token-Kosten lohnen sich, wenn man die richtigen Frames auswählt. Dieser technische Leitfaden zeigt, warum gleichmäßiges Sampling scheitert und wie eine Kombination aus Szenenerkennung, Deduplikation und Transkript-Fusion die besten Ergebnisse liefert. Der Autor erklärt die drei Deduplikationskanäle (global, Aktion, beruhigt), die Probleme mit festen Schwellenwerten lösen, und wie man Frames mit Transkripten über einen einzigen Zeitstrahl verbindet. Alles ist als Open-Source-Tool verfügbar.
Ein Video ist kein Artikel über das Video – wenn ein LLM den Artikel liest, lernt es innerhalb der Entscheidungen des Autors, aber wenn es das Video sieht, kann es die Fehlermeldung bemerken, die in einem Tutorial aufblitzte, das niemand transkribiert hat.