Reame: 越用越快的CPU推理服务器

Show HN: Reame – a CPU inference server that gets faster as it runs

Reame 是一款基于 llama.cpp 构建的轻量级 LLM 推理服务器，专为普通 CPU 硬件量身打造。它彻底改变了廉价硬件只是备选的现状，通过磁盘 KV 缓存、自适应推测解码和生成归档等创新技术，让重复性任务的成本趋近于零。无论是文档提取、批量数据处理还是隐私敏感的 SaaS 功能，Reame 都能在你的现有硬件上实现高效运行，且无需昂贵的 GPU 支持。

"在 CPU 上，永远不要计算两次相同的内容。"