35kbのプロンプトをAnthropicから自前のOllamaに移したら、エージェントが3分で息切れした話

この記事は問題の本質をほとんど説明できていない。プロンプトが35kbもあるなら、そのプロンプトは混乱していて焦点が定まっておらず、どのLLMでもまともに機能しないし、コンテキストを無駄に膨らませているだけだ。

現時点では、ほとんどの人や企業が推論エンジンをどう動かしているかという理由で、モデルが何であれ（そう、OpenAIやAnthropicの最新モデル、中国の虎や龍たちも含めて）、コンテキストサイズをどれだけ宣伝していようと、モデルが正確に注意を向けられる有用なコンテキストは25万トークンあたりで尽きてしまう。

プロンプトは分割する必要がある。LLMが機能すると信じるなら、LLMに全体計画の形成を手伝わせ、その後、複数のセッションで計画の各ステップを実行させればいい。以前の成功したステップのコンテキストで膨らませることなく。

コンテキストの腐敗とサンプリングの問題が永久に解決されるまで、LLMがproduction-readyになるとは思えない。それはまだ起きていないし、大手推論プロバイダーはそのテーマの研究を統合しようともしていない。

むしろ、多くの大手企業は、倒産するまでの猶予をほんの少し延ばすためだけに、推論の品質を積極的に悪化させている。

この記事が正しいのはただ一点、LLMに本気で取り組むならBig AIを見限り、ローカルで推論するしかないということだ。これだけが出力の品質をコントロールする唯一の方法だ。