Janus - GoバイナリでVulkan対応のローカルLLMサーバー
Show HN: Janus – Go binary that runs GGUF models via Vulkan on AMD/Intel/Nvidia
Janusは、単一のGoバイナリでGGUFモデルをローカル実行し、OpenAI互換APIとWeb UIを提供する画期的なツールです。PythonやDocker、Ollamaは不要で、Vulkan経由でAMD/Intel/NVIDIA GPUを活用した高速推論が可能。モデルのホットスワップや組み込みツール（ファイル操作、コマンド実行、OCRなど）を備え、CLIやCursor、任意のOpenAIクライアントから利用できます。ローカルで手軽にAIを動かしたい開発者に最適なソリューションです。
モデルが何をするかを決め、Goが推論を実行し、リクエストをルーティングし、ツールを実行し、すべてをローカルに保つ。