Janus - Go binary for local GGUF models via Vulkan
Show HN: Janus – Go binary that runs GGUF models via Vulkan on AMD/Intel/Nvidia
Janus ist ein einzelnes Go-Binary, das GGUF-Modelle lokal auf GPU (Vulkan) oder CPU ausführt und eine OpenAI-kompatible API sowie eine Web-UI bietet – ganz ohne Python, Docker oder Ollama. Es unterstützt Hot-Swap von Modellen, integrierte Tools wie Dateizugriff, OCR und PDF-Ausgabe und lässt sich nahtlos in Cursor, Cline oder eigene Skripte einbinden. Ideal für Entwickler, die lokale LLMs ohne Abhängigkeitshölle betreiben wollen. Einfach klonen, bauen, Modell herunterladen und loslegen.
Das Modell entscheidet, was zu tun ist; Go führt die Inferenz aus, routet Anfragen, führt Tools aus und hält alles lokal.