Temporalの履歴リプレイを捨て、継続をチェックポイントする新しい耐久実行モデル

良いモデルだ。実際にモデルを訓練したり、エージェントシステムを設計したりすることに興味がある人は、これをやるべきだ。

私の会社はこの問題に取り組むことから始まった。なぜなら、これがプログラミングモデルの訓練方法や、LLMを特定のタスクで確実にデプロイする方法の基盤だからだ。これのおかげで、LLMに対するはるかに優れたメンタルモデルを築くことができた。なぜなら、「チャット」の中では一貫したペルソナや一貫した知識・能力を持っているように感じられるが、その外ではLLMが実際にはどれほど奇妙に気まぐれで、一貫性がなく、好みがうるさいかを目の当たりにしたからだ。

当初は、特定のタスクを完了する能力を引き出すためのプロンプトの探索だと考えていたが、今では速度・信頼性・運用面（例えば、性能を落とさずにモデルを切り替えられるか？）のメリットの方が、ほとんどのユーザーにとってさらに大きいと思う。

ちょっとした「秘密」を言うと、ラボがこの方法でモデルを使うことさえ難しくしているし、これがもっと広く理解されることが重要だ。分布を考慮したリプレイ／再サンプリングは、LLMのポストトレーニングにおける重要なテクニックだ。しかし、これはタスクの一部のサブセットに対して最適なモデルを自動的に特定できるようにするものでもあり、多くのコストを節約できる。