libargus - Unified zero-allocation native AI runtime for Java 22+
Show HN: Low-latency local LLM runner via OpenJDK Panama FFM (Java 22)
libargus ist ein ultraleichtes, unverwaltetes Laufzeitsystem, das LLM-Textgenerierung, Whisper-basierte Spracherkennung, Text-to-Speech und multimodale Verarbeitung (Vision, Audio, Video) in einer einzigen nativen Engine vereint. Es nutzt die Project-Panama-FFM-API von Java 22+ für eine vollständig zero-copy, zero-allocation Ausführung ohne Garbage Collection. Entwickler können damit latenzkritische KI-Anwendungen direkt in Java bauen, ohne auf C++ oder Python ausweichen zu müssen. Die Engine bietet eine thread-sichere C-API, unterstützt CUDA-Beschleunigung, KV-Cache-Quantisierung und spekulative Dekodierung. Sie ist ideal für Echtzeit-Anwendungen wie Videoanalyse, Sprachassistenten oder lokale LLM-Inferenz. Das Projekt ist Open Source unter der MIT-Lizenz und integriert Komponenten von llama.cpp und whisper.cpp.
libargus eliminiert die Garbage Collection aus dem kritischen Pfad und ermöglicht so eine vollständig zero-allocation native KI-Inferenz direkt in Java – ein Paradigmenwechsel für latenzkritische JVM-Anwendungen.