Cloudflare K2:边缘无服务器事件流
Cloudflare K2: serverless event streams

传统RPC架构中,生产者与消费者必须在规模和时序上严格对齐,一旦下游服务不可用或数据量过大,事件就会丢失。Cloudflare推出了K2,这是一个基于R2对象存储构建的无服务器事件流服务,旨在解决这一痛点。K2将数据作为有序日志持久化存储,支持长期保留,即使消费者长时间宕机也不会丢数据。它专为边缘环境设计,利用Cloudflare全球基础设施的弹性,实现了计算与存储的分离。与Cloudflare Queues不同,K2更侧重于大规模数据移动、长期保留和扇出消费,适合需要高吞吐和自定义处理的场景。目前K2已开启公共测试,开发者可快速创建流并处理事件。
通过将复制和共识工作卸载到存储层,我们能让应用层(即K2)变得极其简单、成本更低且性能更高。
HN 评论区
111- psanford
对象存储正在迅速成为新的核心数据基座。让我们基于 S3 构建 Kafka,基于 S3 构建 GitHub。感觉在未来几年,我们会看到越来越多“对象存储优先”的系统。
我对这个未来感到兴奋。比起管理那些带有磁盘的系统,我随时都愿意选择无状态服务器加一个存储桶。
我不禁在想,S3 API 是否会扩展以支持更多这类用例。S3 在其新的 express-one-zone 桶类型中添加了一个简陋的文件追加操作,且限制总追加操作数为 1 万次。我好奇未来几年我们还会得到什么。
- pcthrowaway
与其要求消费者确认(ack)批次,为什么不让他们在 `consume` 请求中直接提交批次尾部的 ID 呢?
- necubi
我是这篇帖子的作者,也是 K2 的技术负责人。很高兴回答任何问题!
- max8539
Cloudflare 正在追赶,试图成为全功能的 AWS/GCP/Azure。起初它只有几项服务,但现在它们正在添加其他所有内容。
- vira28
我想知道有多少数据基础设施初创公司只是 S3 的封装层。
此外,OLTP 和 OLAP 之间的界限每天都在变得模糊。
对于想要现成版本的朋友,你们可能会对 https://github.com/viggy28/streambed 感兴趣。
(免责声明:我是该项目的提交者之一)