AppleのLensVLM、長い文脈を画像に圧縮し必要なページだけを展開
LensVLM: Compressing long context as images, expanding only relevant pages
Appleが公開したLensVLM-9Bは、テキストを圧縮画像として読み込み、学習済みツールで関連ページだけを非圧縮に展開する9BのVision Language Model。5x・10x・15xの圧縮率に対応し、長文書の質問応答を効率化する。Qwen3.5-9Bをベースに、Hugging Faceでモデルとコードが利用可能。
LensVLMは、圧縮されたテキスト画像を走査し、学習済みツールを通じて関連するページだけを選択的に非圧縮形式に展開する9BのVision Language Model（VLM）です。
- himata4113
LLMに氷河型の入力や、何らかのアクティブワーキングメモリがないのはいつも奇妙に思っていた。
次のリクエストにだけ関連するアクティブな関連情報——実行中のエージェント、時刻など——を公開できない理由は何もない。
トークンあたりのバイト数がはるかに少ない、より安価な損失のある入力があってもいいはずだ——deepseek flash 4.1を見てみろ。
- rao-v
このアプローチは本当に好きだ！ここでのビジョンエンコーダは、高忠実度で高価なRAGエンコーダのようなものだと考えている。
このようなシステムでやりたいのは、KVキャッシュの順序に依存しない（つまりページレベルで置換不変な）ように訓練することだ。基本的に、各ページのKVキャッシュはモデルがどの順序でも理解できるべきで、そうすればさらに一歩進んで、ビジョンエンコードされたページのKVキャッシュをモデルが推論するチャンクとして扱える。
そうすれば、詳細を見るためにズームインするようなトリックも自然に拡張できる。
- taylorfinley
Oh My Piはしばらく前からこれをやっていて、Snap compactと呼んでいる。