AI가 틀릴 때의 비용이 비쌀수록, 더 싼 모델은 도움이 안 된다

To Make, or to Buy: The Economics of Decision Models

Jev 같은 decision model은 선택지별 확률을 출력해 답이 사실상 무료에 가깝고 빠르다. 저자는 이를 캐시·RAM·디스크로 이어지는 메모리 계층에 빗대 'decision hierarchy'를 제안한다. 각 계층은 확신하는 것만 처리하고 애매한 입력은 아래로 넘기는데, 언제 넘길지는 1970년 Chow의 규칙으로 정해진다. 핵심은 오답 비용이 크면 LLM의 가격은 거의 무의미하고 정확도만이 결정적이라는 점이다.