AIエージェントの記憶とコストを「ライフサイクル問題」として解決する新手法
Agentic Context Management: Memory and Cost as Architecture Problems
本論文は、本番環境のAIエージェントの失敗が、推論能力よりもコンテキスト管理能力に起因すると指摘。会話履歴やツール出力が肥大化し、トークンコストが2次的に増加する問題を、単なる保存・検索ではなく、ライフサイクル全体として捉える「Agentic Context Management (ACM)」を提唱。5つの基本要素（設計、取り込み、スコープ、予測、圧縮・統合）を定義し、コストを線形に抑えつつ精度を維持する圧縮手法を提案。実装例「Maximem Synap」はLongMemEvalで92%、LoCoMoで93.2%を達成。既存ベンチマークが捉えていないレイテンシやトークン効率などの次元も議論する。
本番AIエージェントの失敗は、推論能力の不足よりも、コンテキスト管理の失敗によることが多い。
HNでの議論
28- nullbio
コンテキストの汚染と腐敗は、おそらく記憶よりも重要です。なぜなら、事実は通常、エージェントがパンくずリストをたどるのが得意であれば取得できるからです。
また、最大の殺し屋はコードの腐敗です。エージェントは千の切り傷による死に特に優れています。彼らは何かを貧弱に、または誤って実装したり、プロジェクトに悪いパターンを導入したりします。そして、その後の作業でそれをコピーし続けることで、時間の経過とともにその悪さを増幅させ続けます。それはウイルスのように広がります。
これらの種をプロジェクトから遠ざけることは非常に難しく、腐敗を掃除することも非常に困難です。また、既存のコードベースに従うことは、コードが良いときは良いが、悪いときは悪いことなので、解決が難しい問題のように思えます。したがって、一見すると、解決策は、行われているすべての変更に対してより多くの思考と評価を意味します。
- samyakk
ACM、それが私が探していた用語です - そしてあなたの論文はそれを明確に説明しています。結局のところ、LLMの問題のほとんどはコンテキストの問題です。正しい知識をコンテキストウィンドウに過剰に詰め込まずに取り込むことが、ほとんどのエージェントにとって実際のエンジニアリングの労力です。そして、あなたが提示する解決策は有望に見えます。
検証付きの圧縮と予測フェッチの両方が正しい方法です。
これを自分で実装したくはありません。もしSynapがその実装であるなら、いくつか質問させてください：
1. エージェントの会話だけでなく、ドキュメントのようなコンテキストでも機能しますか？
2. 大規模データセット上のRAGよりも優れていますか？
3. オンプレミスオプションはどのようなものですか？
- respectattentio
私はまずメモリエンジニアリングから始めて、次にシステム全体に到達し、その後コストを削減するのが好きです。これにより、エージェントの潜在能力を最大限に引き出すことができます。