libargus - Zero-allocation AI inference runtime for Java
Show HN: Low-latency local LLM runner via OpenJDK Panama FFM (Java 22)
libargus es un runtime de ejecución nativa para IA que unifica pipelines de LLM, voz y visión multimodal detrás de una sola interfaz Project Panama FFM. Diseñado para Java 22+, ofrece inferencia de baja latencia con cero asignaciones en el heap, soporte para CUDA y una API idiomática de Java que abstrae la complejidad de la memoria nativa. Ideal para aplicaciones JVM que requieren alto rendimiento en generación de texto, transcripción de voz, procesamiento de video y embeddings semánticos.
libargus elimina la fragmentación de VRAM y las condiciones de carrera del driver al orquestar una única vía de inicialización compartida para todos los subsistemas de IA, logrando una inferencia nativa con cero asignaciones de memoria en Java.