GLM-5.3-Flash wird per Prompt zum Jev-Konkurrenten für Entscheidungen
Turning GLM-5.3-Flash into a Jev-like decision model
Ein Team zeigt, wie sich ein handelsübliches LLM ohne Fine-Tuning in ein Entscheidungsmodell verwandeln lässt: Der Prompt endet mit „choice_index:“, das Modell gibt in einem einzigen Forward Pass die Wahrscheinlichkeiten für alle Optionen aus. Auf 29 öffentlichen Datensätzen erreicht GLM-5.3-Flash auf Privatemode die Genauigkeit von TypeSafe's Jev (mittlere Abweichung 0,7 Prozentpunkte, p = 0,64) und schlägt Laya deutlich. Die Latenz liegt in der EU bei 180 ms, in den USA bei 299 ms; Jev kostet 16 € pro Million Entscheidungen, GLM-5.3-Flash 62 €. Als Bonus sind typisierte Entscheidungen auf Bildern möglich.
Unsere zentrale Erkenntnis ist, dass das LLM nicht das ganze JSON-Objekt vorhersagen muss, da wir seine Form bereits kennen.