如果 Jev 支持 Arrow 会怎样
What if Jev spoke Arrow?
TypeSafe 推出的 Jev 模型将自然语言转化为结构化的决策数据，但目前的 JSON 输出限制了其在大规模数据流水线中的效率。我们好奇 Jev 若直接支持 Apache Arrow 格式，能否消除 JSON 转换开销。为此，我们开发了 Jevaro 代理服务器，模拟批量处理场景，将 Jev 的决策结果以 Arrow 流形式输出。测试显示，尽管仍需逐个调用 API，但通过优化并发和序列化，Jevaro 能显著提升吞吐量。这让我们期待未来 Jev 原生支持批量 Arrow 端点，真正实现概率性决策与确定性数据处理的高效融合。
这些模式为根本性的概率工作流和流水线打开了大门，而在这些地方，直到最近我们才认为只有确定性方案是切实可行的。