LLM 비용의 진실: 로그 스케일이 감춘 가격 차이
LLMs: Intelligence vs. Cost
ArtificialAnalysis의 '지능 대 비용' 그래프는 로그 스케일과 공식 API 가격 때문에 실제 비용을 왜곡한다. OpenTeams의 엔지니어는 선형 스케일, OpenRouter의 저렴한 가격, 로컬 실행 전기 요금을 반영해 그래프를 다시 그렸다. 그 결과, 최신 모델의 비용은 대기업도 부담스러울 정도로 비싼 반면, 중국산 모델은 저렴하고, 로컬에서 실행되는 모델은 전기 요금만으로 충분하다는 사실이 드러난다. 지능 1점 차이는 대부분 체감하기 어렵고, 5점 차이는 크지만, 비용 차이는 최대 160배에 달한다.
사람의 돈은 로그 스케일이 아니기 때문에, x축을 로그에서 선형으로 바꿨다.
HN 토론
27- oliwary
와, 정말 멋지네요! 저는 속도도 지표에 포함되어야 한다고 생각해요 (즉, 모델이 실제로 작업을 해결하는 데 얼마나 걸리는지). 저는 가벼운 추론 작업에 비싼 모델(예: Sol)을 실행하는 것을 선호하는데, 보통 빠른 응답으로 좋은 답변을 얻을 수 있어요.
제 코딩 스타일(빠른 왕복 및 수정)에서는 모델이 1-2분 안에 응답하는지 5-10분이 걸리는지가 큰 차이를 만들며, 그 차이를 위해 조금 더 비용을 지불할 의향이 있습니다.
- themgt
Anthropic과 OpenAI의 최첨단 모델과 훨씬 저렴한 중국 모델 사이에는 엄청난 비용 차이가 있습니다... 지갑을 비워서 얻는 추가 지능은 한계 효용의 법칙을 따릅니다: 최고 수준의 엔지니어나 과학자는 Fable 5.1이 얼마나 더 나은지 평가할 수 있겠지만, 대부분의 사람들은 그 차이를 인식하기 어려울 것입니다.
Nebari는 공식적으로 국방부 AI 개발을 지원하는 차세대 도구 체인의 일부인 JATIC 제품으로 등재되어 있습니다.
우리는 공식적으로 케빈 베이컨 게임에서 1단계 정도 떨어진 곳에 있는 건가요? 국방부가 중국 오픈소스 모델을 자체 호스팅되기 때문에 실행하는 것을 지지하고, 우리 모두가 그 차이를 구분할 수 없을 만큼 어리석다는 뜻인가요?
https://openteams.com/open-source-isnt-the-real-risk-in-nati...
- datadrivenangel
선형과 로그 사이를 전환할 수 없다는 불만은 타당합니다. 그래서 최근 밋업 발표를 위해 3D 속도/비용/품질 프런티어 애플리케이션을 만들 때 그렇게 했습니다: https://www.williamangel.net/apps/model_performance.html
속도가 중요하기 때문입니다. 추론과 하드웨어가 비용과 속도를 모두 결정하기 때문입니다. 이는 3차원 트레이드오프입니다.