Janus - Go binary for local GGUF models via Vulkan

Show HN: Janus – Go binary that runs GGUF models via Vulkan on AMD/Intel/Nvidia

Janus는 단일 Go 바이너리로 GGUF 모델을 로컬에서 실행하고 OpenAI 호환 API와 웹 UI를 제공합니다. Vulkan을 통해 AMD, Intel, NVIDIA GPU를 지원하며, Python이나 Docker 없이도 사용할 수 있습니다. 내장 도구로 파일 읽기/쓰기, 명령 실행, OCR, PDF 생성 등을 지원하고, 모델을 재시작 없이 교체할 수 있습니다. CLI, 스크립트, Cursor, 웹 UI 등 원하는 방식으로 활용하세요. 로컬 AI 추론을 간편하게 시작할 수 있는 강력한 도구입니다.

Janus는 러너이자 라우터입니다. 프론트엔드는 당신이 선택하세요.
  1. PcChip

    vllm, sglang, exllama 같은 것들과 비교한 벤치마크는 못 봤네

  2. dlcarrier

    내가 본 바로는, Vulkan은 Intel 하드웨어에서 오버헤드가 꽤 크게 붙어.

  3. peddling-brink

    > llama.cpp via Vulkan (AMD / Intel / NVIDIA) 또는 CPU 폴백

    누군가 intel에 신경 써주나 싶어서 잠깐 흥분했는데. 뭐 어쩔 수 없지.

이 날의 다른 글

2026-10-01