Warum wir unseren LLM Router abgeschafft haben: Einleitung zur Einfachheit

Everyone is building LLM routers, we deprecated ours

Wir haben unseren LLM Router nach vier Monaten Nutzung bei 7000 Cloud-Nutzern eingestellt. Die Erfahrung zeigte, dass ein einziges, bewährtes Modell für die meisten Anwendungsfälle besser ist als dynamisches Routing. Kostenersparnis durch Caching ist effektiver, und die Komplexität eines Requests lässt sich oft nicht allein aus dem Prompt ableiten. Zudem führt das Wechseln zwischen Modellen zu Inkonsistenzen und erhöht die Wartungskosten.