Experiential - Open source model gateway for agent workflows
Show HN: We built open OpenRouter that turns usage into a better model
Experiential es un gateway y router de código abierto para flujos de trabajo de agentes que unifica modelos alojados, BYOK y locales a través de una API compatible con OpenAI. Ofrece control granular sobre qué usuarios y agentes pueden usar qué modelos, con límites de gasto y casos de uso específicos. Además, convierte el tráfico de producción en un router o modelo personalizado optimizado para calidad, velocidad y costo. Incluye un panel de control para monitorear uso y gastos, y soporta telemetría opcional. Puedes comenzar localmente con `pip install experiential exp` o usar la plataforma alojada. Es ideal para equipos que buscan gestionar múltiples modelos de IA de manera eficiente y rentable.
Convierte el tráfico de producción en un router o modelo personalizado optimizado para calidad, velocidad y costo.
- gpiechnik2
¡Excelente diseño! ¡Me encanta!
- Areibman
¿Podrías contar más sobre cómo funciona el caché? Una gran ventaja de quedarse con un solo modelo es ahorrar dinero en tokens de entrada en caché. Imagino que si cambias entre un montón de modelos, puedes mejorar el rendimiento, pero el costo se dispararía sin control.
- akshay_akula
Código abierto y sin margen de beneficio es el valor predeterminado correcto para una puerta de enlace. La pregunta sobre el caché de arriba es la que querría que se respondiera antes de cambiar de modelo.
- ceroxylon
>La puerta de enlace añade menos de 1 ms para solicitudes BYOK
¡Increíble! Realmente una idea brillante, gracias por compartir este proyecto. Hay mucho terreno por cubrir en el mundo de las puertas de enlace / enrutamiento / informes de LLM, y este es un gran comienzo. La implementación de Tinker es mi parte favorita, el ajuste fino es mucho mejor que un mar de archivos de contexto.
- cheema33
Aún no lo he probado. ¿Es similar a LiteLLM? Si es así, ¿qué lo diferencia?