litelm reduce LiteLLM a 2.900 líneas y 2 dependencias
Litelm: LiteLLM Without the Bloat
litelm extrae el núcleo de LiteLLM —enrutamiento de modelos, traducción de mensajes, streaming, uso de herramientas y embeddings— en solo 2.900 líneas y dos dependencias (openai y httpx). Elimina el proxy, la caché, el seguimiento de costes y el Router. La API es idéntica a LiteLLM: basta con cambiar el import. Soporta 19 proveedores y está verificado con DSPy.
litelm extrae solo la ruta de llamada —enrutamiento de modelos, traducción de mensajes, streaming, uso de herramientas, embeddings— y nada más. Sin clase Router, sin proxy, sin caché.
- Centigonal
Este es un proyecto genial, y la idea de usar LLMs para extraer selectivamente características de proyectos de código abierto es un concepto interesante.
Lo único que me molesta es la frase "LiteLLM Without the Bloat". Muchas de las características que se han eliminado (como el seguimiento de costos, streaming, caching) son... más o menos la propuesta de valor central de LiteLLM para muchos de sus usuarios.
- khalic
Recomiendo encarecidamente a los autores que reescriban el readme a mano. Es una especie de prueba del algodón de cuánto cuidado puso alguien en este proyecto.
- clickety_clack
Una de las 2 dependencias, httpx, ya no se mantiene realmente. Pydantic la adoptó como httpx2: https://pydantic.dev/docs/httpx2
- 9dev
Qué gracioso, todo lo que podaste es la razón por la que estoy desplegando LiteLLM en nuestra plataforma. Tener una forma confiable de rastrear el gasto de tokens por cliente en diferentes servicios es importante para nosotros, y LiteLLM maneja esto bien
- dlojudice
Sería genial que hubiera una infraestructura de plugins/extensiones. Por ejemplo, para escribir el caché y los costos como y cuando me parezca