Jev가 Arrow로 말한다면? TypeSafe API에 없는 결정적 기능
What if Jev spoke Arrow?
TypeSafe AI의 Jev는 자연어와 애플리케이션 상태를 타입화된 결정으로 바꾸는 모델이다. 현재 API는 답변을 JSON으로 반환하는데, Columnar는 Jev의 답변을 Apache Arrow 스키마로 모델링하고 배치 처리를 위한 프록시 서버 Jevaro를 만들었다. 10,000개 상태를 21.5초에 처리하고 30,000개 답변 비용은 0.20달러였다. 하지만 근본적인 병목은 Jev API에 벌크 엔드포인트가 없다는 점이다.
Jev는 새로운 프리미티브이며, 그것이 무엇을 가능하게 할지 전체 범위를 아직 아무도 모른다.
- orf
Jev가 빠르긴 하지만, Jev를 쓰는 게 JSON에서 역직렬화하는 것 때문에 병목이 생기는 경우는 거의 없다.
arrow를 쓰는 건 멋지지만, grpc가 arrow IPC보다 더 자연스러운 선택처럼 보이고, 같은 이점을 줄 수 있을 것 같다.