Jev podría hablar Arrow y acelerar los flujos de trabajo probabilísticos
What if Jev spoke Arrow?
Jev de TypeSafe AI convierte lenguaje natural y estado de aplicación en decisiones tipadas, devolviendo JSON. El equipo de Columnar Tech explora cómo funcionaría si en su lugar emitiera Apache Arrow, el formato columnar de alto rendimiento. Diseñaron un esquema Arrow para las respuestas de Jev y construyeron Jevaro, un proxy que acepta múltiples estados y preguntas compartidas, llama a Jev por cada estado y devuelve un stream Arrow IPC. Procesaron 10,000 mensajes en 21.5 segundos, unos 464 estados por segundo, con un costo estimado de $0.20 por 30,000 respuestas. Concluyen que una API nativa en lote con salida Arrow eliminaría la sobrecarga de JSON y multiplicaría el rendimiento.
Jev es una nueva primitiva, y nadie conoce todavía el alcance completo de lo que hará posible.
- orf
Si bien Jev es rápido, usarlo apenas se ve limitado por la deserialización desde JSON.
Usar arrow es genial, pero grpc parece un ajuste más natural que arrow IPC y te daría los mismos beneficios.