Modell-Routing: 4 Prinzipien aus der Praxis
First Principles of Model Routing
Beim Bau des Open-Source-Routers role-model hat der Autor Prinzipien entwickelt, die auch für andere Router-Nutzer gelten. Statt zwischen zwei Frontier-Modellen zu routen, sollte man ein Frontier-Modell mit einem Modell kombinieren, das in einer der Dimensionen Geschwindigkeit, Qualität oder Kosten glänzt. Der Pool sollte klein bleiben – zwei Modelle sind ideal. Statt externer Benchmarks empfiehlt er relative, reale Benchmarks im eigenen Router, die Fähigkeiten testen. Historische Routing-Entscheidungen sollten als zusätzliche Benchmarks dienen.
Statt zwischen zwei Frontier-Modellen zu routen, ist es besser, zwischen einem Frontier-Modell und einem anderen Modell zu routen, das in mindestens einer der Seiten des Dreiecks der Beschränkungen – Geschwindigkeit, Qualität und Kosten – herausragt.