CloudflareのGLM-5.3、長文プロンプトで他ユーザーのデータが応答に混入
Cross-request KV cache exposure in the GLM-5.3 Workers AI model (155 responses)
Cloudflareは、Workers AI上のGLM-5.3で、681,280トークン超の長いプロンプトに対し他ユーザーのセッションデータが応答に混入する不具合が155件発生したと公表した。原因は、prefill用GPUのKVキャッシュプールがコンテキスト長より小さかった設定ミスと、SGLangが拒否したリクエストを適切に中断せず、古いKVページを参照して生成を続けたバグの重なり。研究者の報告を受け、モデルを停止し、設定とエンジンの両方を修正して復旧した。
デコードノードは「転送完了」メッセージを受け取り、prefillが以前のリクエストのKVキャッシュをこのリクエストの完全なプロンプトで上書きしたと想定したが、実際には以前の状態の大部分がそのまま残っていた。