Experiential - Open source model gateway and router for agent workflows
Show HN: We built open OpenRouter that turns usage into a better model
Experiential — это открытый шлюз и маршрутизатор для агентных рабочих процессов, предоставляющий единую точку управления для закрытых, открытых, локальных и кастомных моделей. Он предлагает OpenAI-совместимый API для использования хостинговых, BYOK и локальных моделей, позволяет контролировать доступ пользователей и агентов к моделям, а также оптимизировать трафик для повышения качества, скорости и снижения затрат. Начните с локальной установки через pip или используйте хостинговую платформу. Собирайте телеметрию, анализируйте трафик и дообучайте модели с помощью Tinker.
Превратите свой продакшн-трафик в кастомный маршрутизатор или модель, оптимизированную под качество, скорость и стоимость.
- Areibman
Не могли бы вы подробнее рассказать о том, как работает кэширование? Одно из главных преимуществ использования одной модели — экономия денег на кэшированных входных токенах. Я предполагаю, что если переключаться между множеством моделей, можно улучшить производительность, но расходы выйдут из-под контроля.
- akshay_akula
Открытый исходный код и отсутствие наценки — правильный выбор по умолчанию для шлюза. Вопрос о кэшировании выше — это то, на что я хотел бы получить ответ, прежде чем переключать модели.
- gpiechnik2
Отличный дизайн! Мне нравится.
- ceroxylon
>Шлюз добавляет менее 1 мс для BYOK-запросов
Потрясающе! Действительно блестящая идея, спасибо, что поделились этим проектом. В мире LLM-шлюзов, маршрутизации и отчетности еще столько всего предстоит охватить, и это отличное начало. Реализация Tinker — моя любимая часть, тонкая настройка гораздо лучше, чем море контекстных файлов.
- cheema33
Я еще не пробовал. Похоже ли это на LiteLLM? Если да, то в чем отличие?