Jev заговорит на Arrow?
What if Jev spoke Arrow?
Jev от TypeSafe AI превращает естественный язык и состояние приложения в типизированные решения, возвращая вероятности и оценки. Его API отдаёт ответы в JSON. Авторы из Columnar Tech задались вопросом: что если Jev будет возвращать Apache Arrow? Они спроектировали Arrow-схему для ответов Jev и построили Jevaro — прокси-сервер на Python, который принимает пакет состояний и общий набор вопросов, вызывает Jev для каждого состояния и возвращает поток Arrow IPC. В тесте на 10 000 сообщений Jevaro обработал около 464 состояний в секунду, стоимость 30 000 ответов составила примерно $0.20. Но нативный пакетный эндпоинт с Arrow мог бы дать гораздо большую пропускную способность.
Мы бы с радостью протестировали нативный пакетный эндпоинт вместе с командой TypeSafe и измерили разницу.
- orf
Хотя Jev и быстрый, его использование вряд ли упирается в десериализацию из JSON.
Использовать arrow — это круто, но grpc кажется более естественным выбором, чем arrow IPC, и дал бы те же преимущества.