フレーム選択こそがすべて：LLMに動画を見せるためのエンジニアリングノート

Frame selection is the whole game: notes on making LLMs watch video

動画をLLMに理解させる際、単に記事を読ませるのではなく、動画そのものを与えることの価値を解説。トークン予算の制約から、約100〜150フレームに絞る際の「選択」が重要となる。シーン検出では固定閾値ではなく移動平均を基準にし、重複排除ではグローバル、アクション、セトルドの3チャンネルを設ける。さらに、字幕との融合、MCPサーバー経由での提供、実際のツールの使い方まで、実践的なノウハウを紹介する。