Experiential - Open source model gateway for agent workflows
Show HN: We built open OpenRouter that turns usage into a better model
Experientialは、クローズド・オープンソース・ローカル・カスタムモデルを統一的に管理できるオープンソースのモデルゲートウェイです。OpenAI互換のAPIを提供し、ユーザーやエージェントごとにモデル利用の制御や予算管理が可能。さらに、本番トラフィックを分析して、品質・速度・コストに最適化されたカスタムルーターやモデルを構築できます。ホステッド版とローカル版があり、既存のLLMトレースを活用して簡単にセットアップできます。
本番トラフィックを活用して、より良いモデルへと進化させる——それがExperientialの革新的なアプローチです。
HNでの議論
46- Areibman
キャッシュの仕組みについてもう少し詳しく教えていただけますか？単一のモデルに固執する大きな利点の一つは、キャッシュされた入力トークンのコストを節約できることです。複数のモデルを切り替えると、パフォーマンスは向上するかもしれませんが、コストが際限なく膨らむのではないかと思います。
- akshay_akula
ゲートウェイにとって、オープンソースでマークアップがないのが正しいデフォルトです。上記のキャッシュの質問は、モデルを切り替える前に答えてもらいたい質問です。
- ceroxylon
> ゲートウェイはBYOKリクエストに1ms未満しか追加しません
素晴らしい！本当に素晴らしいアイデアですね。このプロジェクトを共有してくれてありがとうございます。LLMゲートウェイ/ルーティング/レポーティングの世界にはカバーすべき分野がたくさんありますが、これは素晴らしいスタートです。Tinkerの実装が一番のお気に入りです。ファインチューニングは、大量のコンテキストファイルよりもはるかに優れています。
- cheema33
まだ試していません。LiteLLMと似ていますか？もしそうなら、何が違うのですか？
- forgetme2020
ここでのビジネスモデルは何ですか？Experiential Labsはどうやってお金を稼いでいるのですか？