모두가 LLM router 를 만들고 있지만, 우리는 이를 폐기했습니다

Everyone is building LLM routers, we deprecated ours

Manifest 팀은 7,000 명의 클라우드 사용자를 대상으로 LLM router 를 4 개월간 테스트한 결과, 대부분의 경우 단일 모델을 사용하는 것이 더 효과적임을 확인했습니다. 프롬프트만으로는 작업 복잡성을 판단하기 어렵고, 캐싱이 비용 절감에 더 효율적이며, 모델 간 전환은 일관성을 해치고 예측 불가능성을 증가시킵니다. 결국 절감된 비용은 유지보수와 관리의 숨은 비용으로 돌아옵니다.