OpenRouterで同じモデルを選んでも、プロバイダー次第で性能が20ポイント変わる

So you want to use OpenRouter?

▲ 625player85168 HNでの議論

iMessage上のAIアシスタントOllyを運用する著者が、OpenRouter経由でオープンモデルを使う際の落とし穴を10項目にまとめた。同じ重みでもプロバイダーごとにベンチマークやツール呼び出しの精度が大きく異なり、画像入力やreasoning設定が無視される例、200 OKでも中身が空の応答、プロバイダー固有の履歴ルールなど、本番環境でしか見えない問題を実例付きで解説する。

同じモデルを紙の上では提供していても、現実にはまったく別のモデルである。
原文を読む →HNでの議論RSS

HNでの議論

168
  1. joshstrange

    これは、はるかに小規模な私のOpenRouter利用経験とも一致する。とにかく信頼性が低く、プロバイダーを固定せざるを得ない。しかも、著者が見つけたように、固定してもなお運任せになり得る。

    OpenRouterは、プロバイダーを交換可能なコモディティとして売り込んでいるが、実際は程遠い。プロバイダーAはしばしばBやCで代替できない（これも著者が見つけた通りだ）。「OpenRouterには何もないんじゃないか？！間違っているのは自分の方か？」と考え込んでしまうほど、気が狂いそうになる。

    OpenRouterの_アイデア_は好きだし、Stripeがこの状況を改善できるかもしれない。しかし、私が見つけた唯一まともな使い方は、プロバイダーを厳密に固定することであり、そこまでするなら直接プロバイダーを使うべきかとさえ思う。

    固定しなければ、大変な苦痛と信頼性の低さ（モデル能力や速度のばらつきなど）が待っている。

  2. jmward01

    これらすべてに賛成だが、それだけではない。私が離れて単一プロバイダーに移行した理由はトークンのキャッシュだ。適切にキャッシュしないプロバイダーをブロックし続けなければならない。パフォーマンスが落ちるのを見てログを確認すると、新しいプロバイダーがローテーションで入ってきており、明らかに壊れているため、そこへの呼び出しはすべてキャッシュされていない。これは何度か起きており、実質的にコスト削減を台無しにする（こうしたプロバイダーは品質もひどいことが多い）。彼らはこんな単純なことすら監視していないのか？彼ら自身のログを見れば、一部のプロバイダーでこのパターンがどれほど明らかか分かるはずだ。単純なキャッシュ率の統計があれば、ほぼ即座にプロバイダーをブロックできるだろう。

  3. vova_hn2

    > 同じモデルでもベンチマーク結果が大きく異なる

    プロバイダーはおそらく、それを開示せずに量子化バージョンを提供している。これは実に残念だ。なぜなら、特定のタスクでは、精度と引き換えにコストを下げることに全く異存はないからだ。しかし残念ながら、自分で（あるいは借りた）ハードウェア上で動かさない限り、モデルをどれだけ量子化するかを明示的に選ぶことは不可能だ。

    ところで、LLM Gatewayも同じ問題を抱えているか知っている人はいるだろうか？現在試そうと考えているが、まだ手を付けられていない。

  4. neya

    OpenRouterの最高なところは、200 OKがおそらくレスポンスにハードコードされていることだ。

    以前はよくcontent: ""が返ってきて、自分のコードが間違っているのかと何度も確認したものだ。しかし、一般的にほとんどのAIプロバイダーがインフラを vibe coding していて、抗うこと自体が無駄な試みだと気づいた。

  5. wren6991

    ああ、これはかなり正確だ。プロバイダーの中には事実上詐欺まがいのものもある。GLM-5.2のあるプロバイダーに出くわしたが、200 tps（異常に速い）で動作し、あまりに壊れていて、1ターンで同じファイルを20回フルリードし、すぐにコンテキストが300〜400kに跳ね上がり、プリフィル分を請求された。即座に拒否リスト入りしたが、それでも数ドルは取られた。

    もう一つのよくある迷惑は、リクエストが約1 tpsしか出さないプロバイダーに送られることだ（DeepSeek V4 Flashのような小型モデルでも）。リクエストをキャンセルしても、プリフィルと生成されたわずかなトークン分は請求される。キャンセルしなければ、ターンが終わるまで10分待つことになるかもしれない。

    全体的な体験はかなり良く、新しいモデルを試す最良の方法だが、彼らはプロバイダーに対して実質的な審査や品質基準の適用を行っていないようで、時折それが牙をむく。

  6. rolfus

    これは非常に有用な情報で、まさに完璧なタイミングだ！私は新しくリリースしたランニングトラッカー（ライブコーチングとランニング後の振り返りに使用）でOpenRouterを使っている。この特定のタスクに対する適性を評価するために、これまでに多数のモデルをベンチマークしてきて、時々モデルが理由もなく性能を発揮しないことに気づいていた。今後はベンチマークスイートにモデルプロバイダーを含めるようにする。

  7. celrod

    ちょうどOpenRouterでdeepseek v4.1 flashを試していたところだ。

    しばらくはそれなりに動いていたが、ウィンドウに戻ると、スクロールバックがこれの繰り返しで埋め尽くされていた：

    ```

    OK.

    Let me write.

    Let me go.

    OK.

    Let me write the script.

    Let me go.

    ```

    これがどの程度モデル側の問題で、どの程度一部のプロバイダーがかなり壊れているせいなのかは分からない。

    単一のプロバイダーを選んでいれば、誰を責め、誰を避けるべきか分かるだろう。OpenRouterでは、これが起きたときにどのプロバイダーを使っていたのか分からない。

  8. binarymax

    かなり衝撃的だ。私たちはいくつかの研究タスクでOpenRouterを使っており、すべてを疑い始めている。多くのモデルプロバイダーがこうした問題に直面しているのではないかと思う：https://forum.level1techs.com/t/why-your-local-llm-feels-dum... （HNの議論：https://news.ycombinator.com/item?id=49402232）

この日のほかの記事

2026-09-11