libargus: 零分配原生AI推理运行时

Show HN: Low-latency local LLM runner via OpenJDK Panama FFM (Java 22)

13KingJoker💬 2

libargus 是一个专为 Java 22+ 打造的高性能 AI 推理运行时,基于 Project Panama FFM 实现零分配、零拷贝的原生执行。它统一整合了 LLM 文本生成、Whisper 语音识别、TTS 语音合成以及前沿的多模态(视觉、音频、视频)处理管线。通过进程级后端单一化架构,libargus 消除了显存碎片化,支持模型权重与执行上下文解耦,让开发者能轻松在 Java 环境中调用 GGML 和 llama.cpp 引擎,实现从文本到视频流的无缝 AI 计算体验。

"通过绝对零拷贝内存边界,libargus 彻底消除了 JVM 堆内存开销,让令牌流、音频波形和视频帧在零垃圾回收足迹下直接驱动 AI 推理。"

同日更多故事 · 2026-07-15