Janus - Servidor LLM local con API compatible con OpenAI

Show HN: Janus – Go binary that runs GGUF models via Vulkan on AMD/Intel/Nvidia

Janus es un único binario de Go que ejecuta modelos .gguf en tu máquina (GPU o CPU) y expone una API compatible con OpenAI junto con una interfaz web integrada. Sin Python, sin Docker, sin Ollama. Ejecuta inferencia local con llama.cpp vía Vulkan (AMD/Intel/NVIDIA) o CPU, permite cambiar modelos en caliente y ofrece herramientas integradas como lectura/escritura de archivos, ejecución de comandos, OCR y generación de PDF. Ideal para desarrolladores que quieren control total sobre sus modelos de IA sin depender de servicios en la nube.

Janus es el runner y el router; tú eliges el front end. La idea de diseño: el modelo decide qué hacer; Go ejecuta la inferencia, enruta las peticiones, ejecuta herramientas y mantiene todo local.
  1. PcChip

    No vi ningún benchmark contra vllm, sglang, exllama, etc.

  2. dlcarrier

    Por lo que he visto, Vulkan añade bastante sobrecarga en hardware de Intel.

  3. peddling-brink

    > llama.cpp vía Vulkan (AMD / Intel / NVIDIA) o fallback a CPU

    Me emocioné pensando que alguien le estaba prestando atención a Intel. En fin.

Más de este día

2026-10-01