LLMのRL学習、難しい問題を諦めないことで性能が劇的に向上

最近、まさにこれと同じようなことがあった。

約1ヶ月前、自分のアプリケーションのネットワークメッセージ速度を測定するためのパフォーマンスツールを書いた。すると、TypeScriptアプリケーションで毎秒3,250,000件のWebSocketメッセージを送信できることが示された。実験の各テストをそれぞれ独自のコールスタックに移動させれば、3,250,000件のメッセージをわずか0.002秒で送信できた。Claudeもその数値を確認した。

それから約2週間後、その数値が間違っていることに気づいた。もしこれが単なる線形の命令処理問題であれば、その数値は正しいだろう。実際には、処理時間、CPUとネットワーク処理は約0.08%に過ぎない。残りの99.92%の処理時間はメモリにある。何が起きていたかというと、パフォーマンスツールはJavaScriptのループからソケット上のキューにメッセージをプッシュしていたが、これらのメッセージを処理してネットワークバッファを排出する速度がループの実行速度より遅かったのだ。

それを修正すると、送信速度はより現実的な毎秒100,000メッセージに落ちた。キュー管理を変更すると、毎秒800,000メッセージの速度が可能になった。各メッセージ送信を別々のコールスタックにプッシュすると、単一ソケットで毎秒6,000,000メッセージの速度が可能になったが、その送信速度に到達するためには安定性を犠牲にしている。

私の間違った数値は、私がそれを信じたのと同じ理由でClaudeによって確認された。つまり、論理から十分に推論された確証バイアスである。Claudeは私と同じ理由でその数値を確認するに至ったが、その結論には全く異なる方法で到達した。