自分でLLMプロキシを動かさなければ、何が起きているか分からない
If you don't run your own LLM proxy, how do you know whats going on?
大手プロバイダーのダッシュボードは、エンジニア向けの時系列トークン統計ではなく、かわいいマスコット画像を見せるだけの「作業証明」でしかない。自前のプロキシを動かせば、複数プロバイダー・複数モデルを単一エンドポイントで束ね、どのキーがいつ何を呼んだかをログに残し、仮想APIキーで本番キーを汚さずに済む。キャッシュミスの原因も20秒で特定できる。インフラとデータ経路を自分で所有すべきだという主張。
LLMがどう動くのかを面接でホワイトボードに書けるほど理解することは一生ないかもしれない。だが、そいつを組み伏せて、推論を提供している間はきちんと計測できるようにすることはできる。