Janus - Servidor LLM local con API compatible con OpenAI
Show HN: Janus – Go binary that runs GGUF models via Vulkan on AMD/Intel/Nvidia
Janus es un único binario de Go que ejecuta modelos .gguf en tu máquina (GPU o CPU) y expone una API compatible con OpenAI junto con una interfaz web integrada. Sin Python, sin Docker, sin Ollama. Ejecuta inferencia local con llama.cpp vía Vulkan (AMD/Intel/NVIDIA) o CPU, permite cambiar modelos en caliente y ofrece herramientas integradas como lectura/escritura de archivos, ejecución de comandos, OCR y generación de PDF. Ideal para desarrolladores que quieren control total sobre sus modelos de IA sin depender de servicios en la nube.
Janus es el runner y el router; tú eliges el front end. La idea de diseño: el modelo decide qué hacer; Go ejecuta la inferencia, enruta las peticiones, ejecuta herramientas y mantiene todo local.