Litelm schrumpft LiteLLM auf 2.900 Zeilen – ohne Ballast
Litelm: LiteLLM Without the Bloat
LiteLLM bietet Routing und Formatübersetzung für LLM-Aufrufe, doch der Kern verschwindet unter über 100.000 Zeilen Proxy-, Cache- und Kosten-Tracking-Code. Litelm extrahiert nur den Aufrufpfad – Modell-Routing, Nachrichtenübersetzung, Streaming, Tool-Nutzung und Embeddings – in rund 2.900 Zeilen mit zwei Abhängigkeiten. Die API spiegelt LiteLLM: gleiche Funktionsnamen, gleiche Argumente, Umstieg per Suchen-und-Ersetzen. 19 Provider werden unterstützt, Router, Proxy und Caching fehlen bewusst. Alpha, 262 Tests bestanden.
litellm leitet LLM-Aufrufe über Anbieter hinweg und übersetzt zwischen Nachrichtenformaten. Dieser Kern ist unter über 100.000 Zeilen Proxy-Server, Caching-Schichten, Kostenverfolgung und Dutzenden Funktionen begraben, die die meisten Nutzer nie anfassen.
- Centigonal
Das ist ein cooles Projekt, und die Idee, LLMs einzusetzen, um gezielt Features aus Open-Source-Projekten zu extrahieren, ist ein interessantes Konzept.
Das Einzige, woran ich mich stoße, ist der Ausdruck „LiteLLM Without the Bloat“. Viele der entfernten Features (wie Cost Tracking, Streaming, Caching) sind ... irgendwie das Kernwertversprechen von LiteLLM für viele seiner Nutzer.
- khalic
Ich empfehle den Autoren dringend, die Readme von Hand neu zu schreiben. Es ist so eine Art Schnüffeltest dafür, wie viel Sorgfalt jemand in dieses Projekt gesteckt hat.
- clickety_clack
Eine der zwei Abhängigkeiten, httpx, wird eigentlich nicht mehr gepflegt. Pydantic hat es als httpx2 übernommen: https://pydantic.dev/docs/httpx2
- 9dev
Lustig, alles, was du weggeschnitten hast, ist der Grund, warum ich LiteLLM in unserer Plattform deploye. Eine zuverlässige Möglichkeit zu haben, den Token-Verbrauch pro Kunde über verschiedene Services hinweg zu verfolgen, ist uns wichtig, und LiteLLM macht das gut.
- dlojudice
Es wäre großartig, wenn es eine Plugin-/Erweiterungsinfrastruktur gäbe. Zum Beispiel, um den Cache und die Kosten so und dann zu schreiben, wie und wann ich es für richtig halte.