Hetzner, LLM 추론 시장 진출 실험 시작

Hetzner is working on LLM Inference

Hetzner가 자체 인프라에서 LLM 추론 API를 실험 중입니다. OpenAI 호환 API로, 현재 Qwen3.6-35B-A3B-FP8 모델만 제공되며 무료입니다. 저자는 직접 테스트해 빠른 속도를 확인했지만, 아직 실험 단계임을 강조합니다. 더 중요한 것은 Hetzner의 전략적 의도로, 저비용 GPU 운영 능력을 활용해 저마진 인프라 시장에 진출하려는 것으로 보입니다. 다만 현재 공개된 GPU 서버로는 대규모 모델 서빙이 어려워, 향후 하드웨어 발표가 관건입니다.