Ramp、モデルルーターでAI推論コストを平均40%削減
Ramp Launches a Model Router
Rampが、AIモデルへのリクエストを最適なモデルに自動ルーティングする「Router」を発表。単一のAPIエンドポイントで全モデルにアクセスでき、性能を維持しながら推論コストを平均40%削減する。Ramp社内ではAIコストを30%削減し、月間2.75兆トークンを処理。2026年まで無料で、26ドルのクレジット付き。OpenAIやAnthropicのモデルに対応し、BYOKも可能。
Rampでは、RouterによりLLMコスト全体を30%削減し、機能をよりスマートかつ高速にすることができました。
HNでの議論
58- embedding-shape
「すべてのモデル」と繰り返し強調しておきながら、実際には「主流のモデルのほとんど」にすら対応していないという事実は、いったんサインアップしたら、彼らのサービスがもっと正直で率直になるとはとても思えない。
- aizk
ドメインがいくらだったのか知りたいだけだ。
- gonzalohm
これが今の世界なんだろうな。どのセクターの企業も、AI関連のものを買わされる。数年前なら、まったく別のセクターの会社を買収するのは株主から非難されたものだ。
- kettlez
なぜ銀行がLLM推論を売っているんだ？
- copperx
リクエストを理想のモデルにルーティング？ それはかなり大言壮語だな。