小型モデルの時代が到来：GPT-5.6 Lunaが1回のAPIコールで数十セントのコストを実現
Small Models Have Arrived
著者がGPT-5.6 Lunaを数週間試用し、その性能とコスト効率の高さに驚いた体験を共有。Lunaは毎秒100トークン以上の速度で動作し、複雑な研究や数千件のメール検索でもAPIコストは数十セント程度。また、GLM 5.3など新たな選択肢も登場し、小型で高速なモデルの進歩が著しい。この変化は消費者向けAIアプリのビジネスモデルを変える可能性があり、従来の高コストが障壁だった分野で新たな機会が生まれる。さらに、ビジネスにおける「高速・安価・十分な品質」のモデル需要が急増すると予測する。
「高速・安価・十分な品質」のモデルに対する需要は、まさにこれから爆発的に伸びようとしている。
HNでの議論
336- NitpickLawyer
NitpickLawyer:
> でも、「速くて、安くて、十分使える」モデルへの需要はこれから爆発的に伸びると思う。
2024年の初め頃に、7BのローカルモデルとGuidanceというライブラリ（最初はMSから出て、その後チームが移った）を使って、モデルがテストの疑似コードを受け取り、まずテストを書き、私が承認したらコードを書き始めてテストが通るまで続けるというフローを作ったとき、ある種の「啓示」を受けた。これは「思考」モデルが登場する前のことだが、そのライブラリを使うことで、モデルを必要な「プロンプト/インストラクト」コンテキストに「導く」ことができ、目標に向かって作業を進めることができた。そして、今の思考トレースで見られるような「ああ、テストxがこういう理由で通らない、だから〜する必要がある」といった最初の兆候を目の当たりにした。
とにかく、その啓示は「モデルがこれ以上進化しなくても、これらの使い道を探すだけで何年も楽しめる」というものだった。そして、もちろん、その後モデルは大幅に進化した。でも、その啓示は今でも「自明の理」として当てはまると思う。私たちは今、10〜20年前なら魔法と見なされたであろうものにアクセスできる。私たちは今も、糊とダクトテープと祈りでシステムを繋ぎ合わせ、新しい使い道を見つけ続けている。
「十分使える」段階は、APIモデル（安くて速いなど）だけでなく、ローカルモデルにも来ていると思う。たとえ遅くても、たとえ不格好でも、増え続けるタスクのセットに対して十分使えるし、さらに言えば、それらを使うのは信じられないほど楽しい。
- andsoitis
andsoitis:
> 私が話した何人かの投資家が言っていたこと：「消費者向けAI企業がもっと出てこないのは変だ。なぜだろう？」
消費者向けAI企業って、そもそも何だろう？フロンティアラボは何でも食い尽くすと宣言していて、先行者利益もある。
最善の策は、逆張りして、人々が実際に欲しい、または必要とする製品やサービスを構築することだろう。AIを搭載したり強化したりするのは構わないが、消費者企業は、特定の消費者のニーズや欲求を理解し、それを追求するという難しい部分をやるんだ。
- pranav_tech26
pranav_tech26:
小型モデルをローカルで動かすと、フォーカスしたタスクでは毎回クラウドのレイテンシーに勝る。安くて、決定的で、デプロイも超簡単だ。
- NickNaraghi
NickNaraghi:
> ピーターは様々なスタートアップを通して、2種類の仕事を見てきた：
> 1. 「IQ180」の仕事。マッドサイエンティスト的な天才が、あなたが考えたこともないようなクレイジーな解決策を思いつく。
> 2. 「トークン吐き出し」の仕事。超反応よく、何十もの異なる前線で物事を前進させる。
これはpgの「Maker's Schedule, Manager's Schedule」と比較して面白い。https://www.paulgraham.com/makersschedule.html
モデルがこれらの役割のどちらを担うのかだけでなく、私たちが好むモードでいられるようにどう力を与えてくれるのかにも興味がある。
- michael0church
michael0church:
「底辺に余地あり」戦略が見られるようになるのは理にかなっている。現在、パラメータ数が多いのは、世界知識、言語スキル（言語のニュアンスと開かれた語彙が高次元だから）、推論プリミティブの資金プールのようなもので、後者はモデル内で最もスペースを取らないというのが一般的な考えだ。
世界知識が不要、あるいはマイナスに働くアプリケーションは多く、必要な言語スキルも少量で済む場合、より賢く使われた小型モデルが、素朴に使われた大型モデルを打ち負かすと期待できる。
- swiftcoder
swiftcoder:
フロンティアモデルを追いかけるのに夢中で、小型モデルがほとんどのタスクで「十分使える」ようになったことにやっと気づいた人たちを見ると、とても面白い。寓話のような経費口座を持たない私たちは、ずっと前に気づいていたよ。
- jillesvangurp
jillesvangurp:
私たちはOpenAIベースのアプリをいくつかテスト・開発してきた。比較的単純なものだ。数ヶ月前にAPIクレジットを10ドルチャージした。今確認したところ、この期間に約61セント使った。先月は約126リクエスト。これは私たちのテストだけだが、この種のものは比較的安いということが分かる。リクエストが少ない理由は、これらのほとんどが初回でほぼ動くからだ。これは難しいものではない。
AIはアプリケーションで過小評価されている能力だと思う。人々はエージェントを構築する大きな計画をいろいろと立てる。しかし、「ユーザーが入力したこれらの象徴的な名前を考慮したカラーパレットを計算する」という単純なボタンでさえ、すぐに返ってくる単純なプロンプトであり、多くの推論を必要としない。私たちはLunaでそれを使い、もう少しコンテキストを与えている。
画像ベースのものはもっと高価だが、それでもかなり妥当だ。私たちはSolで画像を扱うことをいくつかやっている。速くはないが、結果は待つ価値がある。これらはユーザーの時間を節約し、少し魔法のように感じられる機能だ。ボタンをクリックして20〜30秒待つだけで、魔法が起こる。30分クリックし続けるよりはましだ。
ローカルモデルのホスティングは、より高いコストとオーバーヘッドを強いることになり、知能は低くなる。それは、本当に大量のトークンを使うか、他の理由（データセキュリティなど）で必要でない限り、良いトレードオフではない。そうでなければ、使われていないGPU容量にお金を払うことになるだけだ。
- teiferer
teiferer:
私の友人が今日、職場（コーディングショップ）でコスト削減のためSolからLunaに「ダウングレード」する話し合いがあり、多くの人が劣った技術を強制されたくないと不満を持っていると話していた。彼らの言い分はもっともだろうか？Solは本当に追加コストに見合う価値があるのか？特に努力レベルを上げた場合？
- throwaway63467
throwaway63467:
今後5年から10年、これらのAIチップが信じられないほど高速になり、RAM容量が増えていけば、今日のATMELマイクロプロセッサのようにシングルボードコンピュータに収まり、小型モデルをローカルで実行できるチップが登場する可能性があり、そうなれば、すべてのガジェットにローカルAIを持てるようになり、本当にインテリジェントなホームを実現できる。もちろん、すべてをクラウドに置こうという大きな動きがあるだろうが、この技術を家庭に持ち帰るチャンスがあるかもしれない。AIホームオートメーションに必要な24時間365日の監視に人々が従うとは考えにくいからだ（もっとも、私が間違っているかもしれないが）。エキサイティングな時代だ。
- 2001zhaozhao
2001zhaozhao:
私の夢の一つは、RTX 5060のような中級GPUを搭載したホームサーバーでLLM搭載のビデオゲームをホストし、そのLLMが十分に速く賢くて、数十人の同時プレイヤーにとって楽しいゲーム体験を提供できることだ。人々が機能をリクエストすると、その場で作られてゲームに追加され、ロビーで楽しめる。ホスティングコストは手頃で、ゲームに課金する必要もない。
小型モデルの進歩があと1年ほど続けば、それが実現可能になるかもしれない。