Jev spricht Arrow: Wie ein Proxy die Entscheidungs-API beschleunigt
What if Jev spoke Arrow?
Jev von TypeSafe AI liefert typisierte Entscheidungen als JSON. Das Columnar-Team hat einen Proxy namens Jevaro gebaut, der Jevs Antworten in das Apache-Arrow-Format übersetzt, um den JSON-Overhead zu vermeiden. In einem Test mit 10.000 Kundennachrichten erreichte Jevaro 464 Zustände pro Sekunde bei Kosten von 0,20 US-Dollar für 30.000 Antworten. Der Artikel zeigt, wie ein Arrow-Schema für Jevs Antworttypen aussieht und wie Python- und JavaScript-Clients damit umgehen.
Alles in allem öffnen diese Muster die Tür zu grundlegend probabilistischen Workflows und Pipelines, dort, wo wir bis vor Kurzem angenommen hätten, dass nur deterministische praktikabel sind.
- orf
Obwohl Jev schnell ist, wird die Nutzung kaum durch die Deserialisierung von JSON zum Flaschenhals.
Arrow zu verwenden ist cool, aber gRPC scheint natürlicher zu passen als Arrow IPC und würde dir die gleichen Vorteile bieten.