Ramp, AI 추론 비용 40% 절감하는 'Router' 출시
Ramp Launches a Model Router
Ramp가 모델 라우터 'Router'를 출시했다. 하나의 엔드포인트로 모든 AI 모델에 접근할 수 있으며, 각 요청을 성능 요구사항을 충족하는 최저 비용 모델로 라우팅해 평균 40%의 추론 비용을 절감한다. 2026년까지 무료로 제공되며, 첫 26달러의 모델 크레딧도 지급된다. Ramp는 자체 워크로드에 적용해 AI 비용을 25% 이상 절감했으며, 월 2.75조 개 이상의 토큰을 라우팅하고 있다.
Ramp에서 Router는 전체 LLM 비용을 30% 절감하면서도 기능을 더 똑똑하고 빠르게 만들었습니다.