libargus - Zero-allocation native AI inference for Java 22+
Show HN: Low-latency local LLM runner via OpenJDK Panama FFM (Java 22)
libargus는 Java 22+를 위한 통합 멀티모달 AI 실행 런타임으로, 텍스트 생성, 음성 인식(ASR), 음성 합성(TTS), 비전/오디오/비디오 처리를 하나의 프로세스 전역 네이티브 엔진으로 통합합니다. Project Panama FFM API를 통해 JVM 힙 할당 없이 제로 카피로 GGML 및 llama.cpp 기반 모델을 실행하며, CUDA 가속을 지원합니다. 개발자는 메모리 안전한 Java API를 사용하여 고성능 AI 추론을 손쉽게 구현할 수 있습니다.
libargus는 Java 22+에서 제로 할당 네이티브 AI 추론을 가능하게 하여, JVM 개발자가 복잡한 포인터 연산 없이도 최고 수준의 성능을 경험할 수 있게 합니다.