Doppelte Anfrage, halbe Wartezeit: So umgehen wir LLM-Tail-Latency

A simple fix for LLM tail latency

Bei Echtzeit-LLM-Anwendungen wie Voice-Agents können einzelne langsame Antworten (Tail Latency) zu peinlichen Stillepausen führen. Statt teurere Priority-Tiers zu buchen, sendet HOAi jede Anfrage einfach zweimal und nutzt die schnellere Antwort. In Tests mit 50 echten Requests schlug diese Methode den Priority-Tier deutlich: Die Worst-Case-Zeit bis zum ersten Token sank von 4,2 s auf 1,2 s, die bis zur vollständigen Antwort von 9,8 s auf 3,5 s. Ein cleverer Trick, der bei seltenen und unabhängigen langsamen Antworten funktioniert und Kosten spart.