Apple LensVLM：长文档压缩为图，按需展开
LensVLM: Compressing long context as images, expanding only relevant pages
Apple 推出了 LensVLM-9B，这是一个基于 Qwen3.5 的视觉语言模型，专门解决长上下文处理难题。它不再简单地将文档转为文本，而是先将长文档压缩为图像进行扫描，然后利用学习到的工具，仅将相关页面动态展开为未压缩形式。这种“压缩为图、按需展开”的机制，大幅降低了计算成本，同时保留了关键细节。无论是处理学术论文还是长篇报告，LensVLM-9B 都能精准定位信息，为长文档理解提供了全新的思路。
LensVLM 扫描压缩后的文本图像，然后通过学习到的工具，仅将相关页面选择性地展开为未压缩形式。
- himata4113
我一直觉得挺奇怪的，LLM 竟然没有冰川型输入（glacial type input）或任何形式的活跃工作内存。
我们完全有理由暴露那些仅对下一次请求相关的活跃信息：当前运行的代理、时间等等。
同样，我们也没有理由不采用一种更便宜的有损输入方式，其每 token 占用的字节数要少得多——参见 deepseek flash 4.1。
- rao-v
我真的很喜欢这种方法！我倾向于将这里的视觉编码器视为一种昂贵的高保真 RAG 编码器。
我特别想用这种系统做的是，训练它使其与 KV 缓存的排序无关（即在页面级别具有置换不变性）。基本上，模型应该能够以任意顺序理解每一页的 KV 缓存——这样就能更进一步，直接将视觉编码页面的 KV 缓存视为模型进行推理的块。
这样一来，所有这些“放大查看细节”的技巧就能自然延伸了。
- taylorfinley
Oh My Pi 已经做这个有一段时间了，他们称之为 Snap compact。