LLM 비용의 진실: 로그 스케일이 감춘 가격 차이
LLMs: Intelligence vs. Cost
ArtificialAnalysis의 '지능 대 비용' 그래프는 로그 스케일과 공식 API 가격 때문에 실제 비용을 왜곡한다. OpenTeams의 엔지니어는 선형 스케일, OpenRouter의 저렴한 가격, 로컬 실행 전기 요금을 반영해 그래프를 다시 그렸다. 그 결과, 최신 모델의 비용은 대기업도 부담스러울 정도로 비싼 반면, 중국산 모델은 저렴하고, 로컬에서 실행되는 모델은 전기 요금만으로 충분하다는 사실이 드러난다. 지능 1점 차이는 대부분 체감하기 어렵고, 5점 차이는 크지만, 비용 차이는 최대 160배에 달한다.
사람의 돈은 로그 스케일이 아니기 때문에, x축을 로그에서 선형으로 바꿨다.
HN 토론
42- oliwary
정말 멋져 보이네요! 저는 속도도 지표의 일부여야 한다고 생각합니다 (즉, 모델이 실제로 작업을 해결하는 데 걸리는 시간). 저는 가벼운 추론에 Sol 같은 비싼 모델을 실행하는 것을 선호하는데, 보통 빠른 응답으로 좋은 답변을 얻을 수 있습니다.
제 코딩 스타일(빠른 왕복과 수정)에서는 모델이 1-2분 안에 응답하는지 5-10분이 걸리는지가 큰 차이를 만들며, 그 차이를 위해 조금 더 비용을 지불할 의향이 있습니다.
- themgt
Anthropic과 OpenAI의 최첨단 모델과 훨씬 저렴한 중국 모델 사이에는 엄청난 비용 차이가 있습니다. 지갑을 비워서 얻는 추가 지능은 한계 효용의 법칙을 따릅니다. 최고 수준의 엔지니어나 과학자는 Fable 5.1이 얼마나 더 나은지 평가할 수 있겠지만, 대부분의 사람들은 그 차이를 인식하기 어려울 것입니다.
Nebari는 DoD AI 개발을 지원하는 차세대 툴체인의 일부로 JATIC 제품으로 공식 등재되어 있습니다.
우리는 이제 케빈 베이컨 1단계 정도로 DoD가 중국 오픈소스 모델을 자체 호스팅되기 때문에 실행하는 것을 지지하고, 우리 모두는 그 차이를 구분할 수 없을 만큼 어리석다는 뜻인가요?
https://openteams.com/open-source-isnt-the-real-risk-in-nati...
- datadrivenangel
선형과 로그 사이를 전환할 수 없다는 불만은 타당합니다. 그래서 저는 최근 밋업 발표를 위해 3D 속도/비용/품질 프론티어 애플리케이션을 만들 때 그렇게 했습니다: https://www.williamangel.net/apps/model_performance.html
속도는 중요합니다. 추론과 하드웨어가 비용과 속도를 모두 결정하기 때문입니다. 그것은 3차원 트레이드오프입니다.
- akazantsev
> 대부분의 경우 괜찮지만, 오픈 가중치 모델의 경우 동일한 모델을 제3자 API 제공업체에서 임대하는 것보다 훨씬 비쌀 수 있습니다.
양자화로 필터링하면 대부분의 제공업체가 동일한 가격을 가질 것입니다. 오픈 가중치 모델에도 '기본' 가격이 있습니다. 그보다 저렴한 것은 제공업체 측의 어떤 트릭을 의미합니다.
- vb-8448
"나쁜 차트"라고 불평하면서 y축이 0에서 시작하지 않는 차트를 게시하는 것은 좀 이상하네요.