Janus - GoバイナリでVulkan対応のローカルLLMサーバー

Show HN: Janus – Go binary that runs GGUF models via Vulkan on AMD/Intel/Nvidia

Janusは、単一のGoバイナリでGGUFモデルをローカル実行し、OpenAI互換APIとWeb UIを提供する画期的なツールです。PythonやDocker、Ollamaは不要で、Vulkan経由でAMD/Intel/NVIDIA GPUを活用した高速推論が可能。モデルのホットスワップや組み込みツール(ファイル操作、コマンド実行、OCRなど)を備え、CLIやCursor、任意のOpenAIクライアントから利用できます。ローカルで手軽にAIを動かしたい開発者に最適なソリューションです。

モデルが何をするかを決め、Goが推論を実行し、リクエストをルーティングし、ツールを実行し、すべてをローカルに保つ。
  1. PcChip

    vllm、sglang、exllamaなどに対するベンチマークは見当たらなかった。

  2. dlcarrier

    私が見た限りでは、VulkanはIntelハードウェア上で多くのオーバーヘッドを追加する。

  3. peddling-brink

    > llama.cpp via Vulkan (AMD / Intel / NVIDIA) or CPU fallback

    誰かがIntelに注目してくれていると興奮した。まあいいや。

この日のほかの記事

2026-10-01