Wer keinen eigenen LLM-Proxy betreibt, fliegt blind
If you don't run your own LLM proxy, how do you know whats going on?
Die Analytics-Panels der großen LLM-Anbieter zeigen hübsche Maskottchen, aber keine brauchbaren Token-Statistiken – mit solchen Daten lässt sich keine Entscheidung treffen. Ein selbst betriebener Proxy bündelt mehrere Provider und Modelle an einem Endpunkt, protokolliert, welcher Key wann welches Modell mit welchem Client aufgerufen hat, und erlaubt virtuelle API-Keys statt eines überall verstreuten Hauptschlüssels. Bei einem Cache-Miss lässt sich die Ursache so in 20 Sekunden von Hand eingrenzen – und über die API sogar automatisieren.
Ich werde vielleicht nie vollständig verstehen, wie zum Teufel ein Large Language Model funktioniert, sodass ich es in einem Bewerbungsgespräch an der Tafel erklären könnte. Aber ich kann es bändigen und dafür sorgen, dass es beim Serving von Inference ordentlich instrumentiert ist.