LLMは「より正確な判断」を売っている——判断モデルとChowの規則が示す新しい階層
To Make, or to Buy: The Economics of Decision Models
判断モデル「Jev」の登場をきっかけに、選択・スコア・noulという3種類の出力を持つモデルの経済性を分析。出力トークンが実質無料で高速という特性から、手書きルールやキャッシュをL1、JevをRAM、LLMをディスク、人間を磁気テープに見立てた「判断階層」を提唱する。1970年のChowの規則を使えば、各層が自信のない入力を下位へ渡す際の損益分岐点を計算でき、誤りのコストが高いほどLLMの価格よりも精度がものを言うと説く。
私たちの判断階層において、LLMが売っている商品はただ一つ——ミスの削減だ。各層は価格・エラー率・ミス1件あたりのコストという3つの数値を持つ供給者であり、先ほどの閾値は損益分岐点、つまり次の層が節約してくれる分と請求額が釣り合う点なのだ。