모델 라우팅의 첫 번째 원칙: 모델 풀을 작게 유지하고, 명확한 차이를 활용하라

First Principles of Model Routing

모델 라우팅을 설계할 때 고려해야 할 핵심 원칙을 소개한다. 최신 GPT와 Opus 같은 범용 모델 간 라우팅은 성능 차이가 미미해 결정이 어렵다. 대신 프론티어 모델과 속도·품질·비용 중 하나에서 뚜렷한 강점을 가진 모델을 조합하는 것이 효과적이다. 또한 모델 풀은 기본 2개로 제한하고, 추가 시 각 모델의 역할을 명확히 정의해야 한다. 벤치마크는 실제 워크로드를 반영한 상대적 평가를 사용하고, 과거 라우팅 결정을 재평가해 데이터를 풍부하게 해야 한다.