Janus - Go-бинарник для запуска GGUF-моделей через Vulkan

Show HN: Janus – Go binary that runs GGUF models via Vulkan on AMD/Intel/Nvidia

Janus — это единый Go-бинарник, который запускает локальные LLM в формате .gguf на вашей машине (GPU или CPU) и предоставляет OpenAI-совместимый API и встроенный веб-интерфейс. Без Python, Docker и Ollama — хотя Ollama поддерживается как опциональный бэкенд. Используйте его из командной строки, подключайте к Cursor/Cline или любому OpenAI-клиенту, либо работайте через Web UI. В комплекте: горячая замена моделей, встроенные инструменты (файлы, команды, OCR, PDF), ReAct-ядро и опциональная аутентификация. Запуск на Windows, Linux и macOS.

Janus — это runner и router; вы выбираете фронтенд. Идея дизайна: модель решает, что делать; Go выполняет инференс, маршрутизирует запросы, исполняет инструменты и сохраняет всё локально.
  1. PcChip

    Я не увидел никаких бенчмарков против vllm, sglang, exllama и т.д.

  2. dlcarrier

    Судя по тому, что я видел, Vulkan добавляет много накладных расходов на оборудовании Intel.

  3. peddling-brink

    > llama.cpp через Vulkan (AMD / Intel / NVIDIA) или CPU fallback

    Я обрадовался, что кто-то обратил внимание на Intel. Ну и ладно.

Ещё за этот день

2026-10-01