Cloudflare K2 elimina la necesidad de Kafka en el edge
Cloudflare K2: serverless event streams

Cloudflare lanza K2 en beta pública, un servicio de streaming de eventos serverless que implementa un log duradero sobre R2. Resuelve el desacoplamiento entre productores y consumidores con retención a largo plazo y escalado horizontal, sin necesidad de operar Kafka en la infraestructura global de Cloudflare. Ofrece latencias de producción de aproximadamente 1 segundo en el percentil 99.
Con arquitecturas tradicionales de llamada a procedimiento remoto (RPC), existe un desafío central: los productores y los consumidores deben alinearse en escala y en tiempo.
- psanford
El almacenamiento de objetos se está convirtiendo rápidamente en el nuevo sustrato de datos central. Construyamos kafka, pero sobre s3. Construyamos github, pero sobre s3. Parece que vamos a ver cada vez más sistemas "object-store first" en los próximos años.
Estoy emocionado por este futuro. Dame servidores sin estado y un bucket de almacenamiento antes que tener que gestionar sistemas con discos cualquier día.
Me pregunto si veremos una expansión de la API de s3 para soportar más de estos casos de uso. S3 añadió una operación de append de archivos chapucera a su nuevo tipo de bucket express-one-zone, y limitada a 10k operaciones de append en total. Me pregunto qué más tendremos en los próximos años.
- dangoodmanUT
Qué gracioso, hice esto hace un tiempo y se lo envié a algunas personas en Cloudflare [1].
Me alegraría que lo hubieran hecho inspirados por eso, pero probablemente no :/
- necubi
Soy el autor del post y tech lead de K2. ¡Encantado de responder cualquier pregunta!
- nnx
El precio es sorprendente, Data Produced a $0.04/GB parece razonable (en comparación con otros event streams de clouds) pero que Data Consumed esté al mismo $0.04/GB es bastante empinado...
Esto significa que el uso real es $0.08/GB en el caso más simple (un consumidor) pero las estrategias de fan-out de consumidores se vuelven muy caras muy rápido.
- addisonj
¡Felicidades por el lanzamiento! Los sistemas basados en streams/eventos son realmente potentes, pero también son bastante complejos, en gran parte porque el modelado de streams para la mayoría de la gente hoy en día es realmente modelar topic/partitions de Kafka, que tiene un montón de trampas y complejidad. Hacer que el stream individual sea realmente barato y fácil es una gran simplificación, especialmente si consumir un stream de forma flexible tanto para casos de uso ordenados como no ordenados se hace simple. Esto parece funcionar para no ordenado, tengo curiosidad por ver cómo gestionan la división del trabajo para el ordenamiento basado en claves mencionado.
- loufe
Si fuera un cliente serio de Cloudflare, estaría seriamente preocupado por la seguridad de mi infraestructura con ellos. Sí, los LLMs pueden programar rápido, pero este es un ritmo casi frenético de lanzamiento de nuevos productos, todos con menos personal.
- max8539
Cloudflare está alcanzando ser un AWS/GCP/Azure completo. Al principio solo era unos pocos servicios alrededor, pero están añadiendo todo lo demás.
- vira28
Me pregunto cuántas startups de infraestructura de datos son un wrapper sobre S3.
Además, la frontera entre OLTP y OLAP se difumina cada día.
Para quienes quieran una versión lista para usar de esto, quizá les interese https://github.com/viggy28/streambed
(Descargo de responsabilidad: soy uno de los contribuidores)