vLLM 내부 구조: 고성능 LLM 추론 시스템의 해부

Inside vLLM: Anatomy of a High-Throughput LLM Inference System (2025)

이 글은 vLLM이 어떻게 고성능 LLM 추론을 달성하는지 그 핵심 구성 요소를 소개합니다. 엔진 코어의 스케줄링, paged attention, 연속 배칭부터 고급 기능인 chunked prefill, prefix caching, guided decoding, speculative decoding, disaggregated P/D까지 다룹니다. 또한 단일 GPU에서 다중 GPU로 확장하는 방법, 서빙 레이어, 그리고 벤치마킹과 자동 튜닝에 대해서도 설명합니다. V1 엔진을 중심으로 분석하며, V0 엔진과의 비교를 통해 프로젝트의 진화도 살펴봅니다.