DeepSeekのKVキャッシュ最適化を西側ラボが無言で採用、AI競争が気まずい展開に

私は中国のラボが、米国のAI企業が作ろうとしている囲い込み（walled gardens）に対する回避策を提供してくれていることにも感謝している。

蒸留データセットが利用可能かどうか知っている人はいる？BitTorrentで配布されているのを見てみたい。AIが民主化され、少数の民間企業の手に独占されないことが極めて重要だと思う。

最良の説明は、LLMを一般にコモディティ化することがCCPの目標だということだ。なぜならLLMは最終的に製造業（中国が支配している）の補完物（compliment）になるからであり、常に「補完物をコモディティ化する」ことが望ましいからだ。

これが彼らが広くオープンソース化している理由を説明すると思う。それは親切心からではない。この競争に多くのプレイヤーがいることを確実にし、米国のラボにあまり力が集中しないようにするための中国政府の戦略的な一手だ（たとえその過程で米国のラボが利益を得たとしても）。

中国のAIモデルがこれほど優れていることに、私は感謝してもしきれない。私は、人類が日々不必要に苦しんでいる無数の病気を治したいと切望している。それを実現するには、現在持っているよりも強力なモデルが必要になるだろうし、中国が競争を提供してくれているおかげで、できるだけ速くこれを進められる。

「できるだけ速く進める」ことが今のところ最も人気のある立場ではないことは分かっている。しかし、私は10%の終末シナリオよりも、どれだけ良いことができるかにずっと興味がある。私は小児脳腫瘍のチャリティでボランティアをしていて、もう4歳の子が死ぬのを見たくない。これを止めるためなら何でも risk する覚悟だ。

私はQwen 3.8 27b（Opus 4.6ティアのモデル）を、5090上でローカルに、170トークン/秒で2週間ちょっと動かしている。それは9ヶ月前のフロンティアモデルがコンシューマーハードウェアで動いているということだ。蒸留とプルーニングがもう1年でどこまで進むかは誰にも分からない。

「つまり中国のラボは西側の赤字ラボに命綱を投げたわけだが、その理由が全く分からない。」

意図的ではないと思うが、これは実際には西側のラボにとってかなり悪い。

これまでのブースターの語りは「彼らの収益がどれだけ伸びているか見てくれ！1年足らずでARRが100億ドルから1000億ドル！これは数兆ドル規模のIPOになる！」というもので、1000億ドルから5000億ドル、5000億ドルから1兆ドルへの外挿された将来成長が将来の投資を正当化していた…しかしその収益は推論が高価だったからに過ぎなかった。

IPO前は収益成長のストーリーがすべてだ。収益が1000億ドルから500億ドルに落ちれば、たとえ今黒字でもOpenAIとAnthropicにとって非常に悪い印象を与え、成長の物語を完全に破壊する。

パフォーマンス最適化は西側のラボを助けるだけでなく、より強力で有用なLLMをローカルで動かすのにも役立つ。

ローカルLLMが十分に「良く」なれば、人々はまもなくChatGPTやClaudeのサブスクリプションに金を払わなくなり、それは彼らの収益を傷つける。

> これらすべては、西側のAI企業が今や推論マージンで極めて黒字であることを意味するに違いない。

> つまり中国のラボは西側の赤字ラボに命綱を投げたわけだが、その理由が全く分からない。

推論が儲からなかったというのは広く信じられている神話だ。

Kimi K3に基づく分析は、OpenAIとAnthropicのマージンが95%をはるかに超えていることを示唆している：https://inferencex.semianalysis.com/run/kimi-k3-on-b200

ここ数ヶ月、OpenAIが推論効率で何度もブレークスルーを達成したというニュースを見てきた。

米国の主要ラボが独自の最適化を持っているとは思わない理由も、彼らがこの特定の最適化をDeepSeekから学んだとは思わない理由もない。

> つまり中国のラボは西側の赤字ラボに命綱を投げたわけだが、その理由が全く分からない。

「故に戦いに巧みな者は敵を動かし、敵に動かされない。」

彼らは蒸留によって過剰な訓練コストを回避する巧妙な方法を編み出した。それによってフロンティアラボはより速く動き、より良いモデルを生み出すことを余儀なくされる（恥をかいたり「遅れを取る」のを避けるために——その間、コストの大部分を負担しながら）。そして彼らはそれを蒸留し続けるか、他の技術を適用し続けることができる——当のフロンティアラボたちが dismay する中で。

チェックメイト。

「我々のセーフガードはモデルが許可されていないサイバーセキュリティタスクを行うのを防ぐ」と「中国のモデルがサイバーセキュリティタスクで改善しているのは蒸留のせいだ」を同時に信じるために必要な二重思考は、本当にかなり笑える。