Databricks, AI 코딩 비용 70% 절감… 핵심은 '효율성 프론티어' 모델 전환
Databricks drove down AI coding spend 70%
AI 코딩 도구의 비용이 기하급수적으로 증가하는 문제를 해결하기 위해 Databricks, Stripe, Coinbase, Uber, Ramp 등 대규모 도입 기업들이 사용하는 비용 관리 기법을 소개한다. 가장 큰 비용 절감 효과는 더 저렴하고 효율적인 모델로의 전환이며, 이를 위해 모델 유연성을 제공하는 메타 하네스(Omnigent)와 AI 게이트웨이(Unity AI Gateway)를 활용한다. 또한 동적 라우팅, 사용자 예산 및 가시성 제공, 토큰 오버헤드 감소 등의 기법을 통해 총 비용을 사용자당 고정 범위 내로 유지할 수 있다.
효율성 프론티어는 주어진 지능 수준에서 가장 좋은 가격대를 가진 모델 집합으로 정의되며, 대부분의 일상적인 코딩 작업에는 수학적 증명이나 새로운 보안 통찰력이 필요하지 않기 때문에, 총체적으로 중요한 것은 일반적인 소프트웨어 엔지니어링 작업의 품질 기준을 충족하는 모델의 비용입니다.