5歳児向けAIチューターを1秒未満で応答させるには？Elloが語るアーキテクチャ

Building a real-time AI tutor for 5-year-olds

Elloは、4〜9歳の子ども向けに算数と読書を教えるリアルタイムAIチューターを開発した。子どもの注意は2秒で散漫になり、応答の遅延は学習を止めてしまう。標準的なエージェントループでは遅すぎるため、モデルが複数のアクションをストリーミングし、解釈・実行を並行して行うカスタムハーネスを構築。さらに、プランナーとコンバーサーの2つのエージェントを非同期で動作させ、子どもの回答を予測して事前生成する。安全性チェックも生成と実行を分離し、遅延を隠蔽する。