Janus - Go binary for local GGUF models via Vulkan

Show HN: Janus – Go binary that runs GGUF models via Vulkan on AMD/Intel/Nvidia

Janus ist ein einzelnes Go-Binary, das GGUF-Modelle lokal auf GPU (Vulkan) oder CPU ausführt und eine OpenAI-kompatible API sowie eine Web-UI bietet – ganz ohne Python, Docker oder Ollama. Es unterstützt Hot-Swap von Modellen, integrierte Tools wie Dateizugriff, OCR und PDF-Ausgabe und lässt sich nahtlos in Cursor, Cline oder eigene Skripte einbinden. Ideal für Entwickler, die lokale LLMs ohne Abhängigkeitshölle betreiben wollen. Einfach klonen, bauen, Modell herunterladen und loslegen.

Das Modell entscheidet, was zu tun ist; Go führt die Inferenz aus, routet Anfragen, führt Tools aus und hält alles lokal.
  1. PcChip

    Ich habe keine Benchmarks gegen vllm, sglang, exllama usw. gesehen

  2. dlcarrier

    Nach dem, was ich gesehen habe, verursacht Vulkan auf Intel-Hardware einen großen Overhead.

  3. peddling-brink

    > llama.cpp via Vulkan (AMD / Intel / NVIDIA) oder CPU-Fallback

    Ich war begeistert, dass jemand Intel Beachtung schenkt. Na ja.

Mehr von diesem Tag

2026-10-01