libargus - Zero-allocation native AI runtime for Java 22+

Show HN: Low-latency local LLM runner via OpenJDK Panama FFM (Java 22)

libargus は、Java 22 以降のための超軽量・高性能な推論ランタイムです。Project Panama FFM API を活用し、LLM テキスト生成、Whisper ベースの音声認識 (ASR)、音声合成 (TTS)、そしてマルチモーダル (視覚・音声・動画) 処理を単一のプロセスグローバルなネイティブ実行環境に統合します。ゼロコピーでガベージコレクションの負荷を排除し、CUDA などのハードウェアアクセラレーションに対応。Java 開発者はメモリ管理を意識せず、安全で自動クローズ可能な API から利用できます。エッジ AI アプリケーションやリアルタイム処理を求める開発者に最適です。