Desert Ant Labs：端侧模型让推理零成本
Desert Ant Labs: local, fast models that run on device
我们推出了 Desert Ant Labs，一家专注于端侧智能的欧洲前沿 AI 实验室。我们坚信，高效智能的起点在于设备本身。我们构建了专为音频、视觉和文本设计的小型专用模型，每个模型都能在毫秒级响应，且运行成本为零。这意味着你可以在每一次产品交互中植入智能，不再受限于 token 成本或推理速度。这些模型小到能在五年前的手机上运行，快到足以处理每一帧画面或每一次按键。从 Voz 的极速转录到 Clear 的音频增强，再到 Redact 的实时隐私保护，我们的模型在速度和能效上全面超越云端 API。我们不再依赖昂贵的数据中心，而是利用用户设备中已有的算力，让数据永远留在用户手中，实现真正的本地智能。
当推理成本为零时，我们构建产品的方式将彻底改变。
HN 评论区
85- 1dom
这种切入 AI 模型的方式很酷。我是本地 LLM 的忠实粉丝，像这样针对特定任务的本地模型应该会更强大。
> 每个模型每月支持 10 万个活跃设备免费使用。无需 Token，无需登录。
不过我对他们的商业模式有点存疑。云 LLM 的计费模式是合理的：你每发起一次请求，就是借用另一台电脑来干活，通过他们的网关使用其算力，所以他们向你收费。
但这些本地模型更像是老派软件。他们生成权重，然后分发给用户。如果我对他们给的权重很满意，又不使用他们的算力进行推理，也不需要他们提供任何更新，那他们凭什么继续从我以及我的客户身上赚钱？
至于“但我们需要持续更新以保障安全”这套说辞，对于像这些本地模型这样设计为完全离线运行的软件来说，说服力并不强。
我不是说他们不该赚钱，只是我个人觉得有点难过，因为像这种真诚有用且有益的 AI 模型思路，其成功的变现方式似乎不那么显而易见。
- nater5000
我确实认为，针对特定任务的小型模型大有可为。我一直觉得真正的价值在于，让大模型能够轻松地为自定义任务构建小模型（我知道这已经是种趋势了），但也许直接提供这些小模型是更易于普及的做法。
> 通过一个 SDK 即可在 Swift、Kotlin 和 JavaScript 中使用
哈哈，等出了 Python SDK 再告诉我，我再试试。当然，如果你有真实用例，这倒不是决定性因素，但作为一个愿意快速搭建并尝试的人，如果有个便捷的“pip install”命令，我可能现在就试了；既然没有，那这东西我先搁置一边。
- sipjca
起初我对这个新的快速转录模型（voz）非常兴奋，结果发现它不过是 parakeet v3 加了一些新的推理代码，而且仅限于 macOS/iOS。
- mtlynch
我很看好这个想法，希望能看到更多端侧模型。不过他们靠什么赚钱呢？
我试了他们 Clear 音频质量增强模型的演示 [0]。我不确定是我耳朵不够灵敏，还是他们的演示有问题，但在我听来，“原始”和“增强”版本的声音完全一样。
- ashenke
很多模型在 Web 场景下会很有用，能提升我们为客户开发的 CMS。但看起来大多数模型仅限 iOS，很少有 Node.js 包或其他形式，而且所有基准测试都是在现代 iPhone 上运行的，所以我怀疑在 20 美元的 VPS 上跑起来不会那么快。