JevがArrowを話したら？TypeSafeのAPIにバルクエンドポイントを求める実験
What if Jev spoke Arrow?
TypeSafe AIのJevは自然言語とアプリケーション状態から型付きの意思決定を返す新しいモデルだ。APIはJSONで応答するが、バルク操作がないため大量の状態を扱うには非効率だ。Columnar TechはJevaroプロキシを構築し、複数の状態と共通の質問を一度に受け取り、Arrow IPCストリームで結果を返す実験を行った。10,000件の顧客メッセージを21.5秒で処理し、30,000件の回答を0.20ドルで得た。Arrow出力のネイティブサポートが実現すれば、スループットが桁違いに向上する可能性がある。
Jevの速度と価格設定は、その作業に魅力的な適合性を持っています。障害はAPIです。バルクエンドポイントがないため、状態ごとに数千または数百万の個別のAPI呼び出しを行う必要があります。
- orf
Jevは高速だが、それを使うことがJSONからのデシリアライズでボトルネックになることはほとんどない。
arrowを使うのはクールだが、grpcの方がarrow IPCよりも自然に適合し、同じメリットが得られるだろう。