토큰이 너무 싸서 계량할 필요도 없다

Tokens Too Cheap to Meter

머신러닝 지능의 가격이 매년 수십 배씩 떨어지고 있다. GPU 효율은 2년마다 두 배, 모델의 작업당 비용은 2년 만에 100분의 1로 줄었다. 추론 엔진과 MoE, Mamba 아키텍처는 같은 품질에 필요한 자원을 극적으로 낮춘다. TypeSafe AI의 Jev는 출력 토큰을 무료로 제공할 정도로 저렴하다. 이제 병목은 토큰 수가 아니라 품질과 접근성이다.