Cloudflare K2: Serverlose Event-Streams auf R2-Basis
Cloudflare K2: serverless event streams

Cloudflare startet die Public Beta von K2, einem serverlosen Event-Streaming-Dienst, der Events als geordnetes Log speichert und so Produzenten und Konsumenten entkoppelt. K2 basiert auf R2-Objektspeicher und erreicht dadurch hohe Skalierbarkeit und Haltbarkeit. Es unterstützt unabhängige Consumer, langfristige Aufbewahrung und verschiedene Lesemodi. In der Beta fallen keine Kosten an; später sind Preise von 0,04 $ pro GB für produzierten und konsumierten Datenverkehr sowie 0,02 $ pro GB und Monat für die Speicherung geplant.
Wir haben K2 zuerst gebaut, weil wir einen dauerhaften Puffer am Edge brauchten, ursprünglich als Ingestion-Schicht für Basin Pipelines.
- psanford
Object Store wird schnell zum neuen Kern-Datensubstrat. Lass uns Kafka bauen, aber auf S3. Lass uns GitHub bauen, aber auf S3. Es fühlt sich an, als würden wir in den nächsten Jahren immer mehr "Object-Store-First"-Systeme sehen.
Ich bin begeistert von dieser Zukunft. Gebt mir zustandslose Server und einen Storage-Bucket, statt Systeme mit Festplatten verwalten zu müssen – jederzeit.
Ich frage mich allerdings, ob wir eine Erweiterung der S3-API sehen werden, um mehr dieser Anwendungsfälle zu unterstützen. S3 hat eine provisorische Datei-Append-Operation zu ihrem neuen Express-One-Zone-Bucket-Typ hinzugefügt, begrenzt auf insgesamt 10.000 Datei-Append-Operationen. Ich frage mich, was wir in den nächsten Jahren sonst noch bekommen werden.
- dangoodmanUT
Lustig, ich habe das vor einer Weile gemacht und es einigen Leuten bei Cloudflare geschickt [1].
Ich würde mich freuen, wenn sie es aufgrund dieser Inspiration gemacht hätten, aber wahrscheinlich nicht :/
- necubi
Ich bin der Autor des Beitrags und Tech Lead für K2. Ich beantworte gerne alle Fragen!
- nnx
Die Preisgestaltung ist überraschend. Data Produced mit 0,04 $/GB scheint vernünftig (im Vergleich zu anderen Cloud-Event-Streams), aber Data Consumed mit ebenfalls 0,04 $/GB ist ziemlich happig...
Das bedeutet, dass die tatsächliche Nutzung im einfachsten Fall (ein Consumer) 0,08 $/GB beträgt, aber Fan-out-Consumer-Strategien werden sehr schnell sehr teuer.
- addisonj
Glückwunsch zum Launch! Stream-/Event-basierte Systeme sind wirklich mächtig, aber sie sind auch ziemlich komplex, nicht zuletzt weil die Modellierung von Streams für die meisten heute wirklich die Modellierung von Kafka-Topics/Partitions ist, was eine ganze Reihe von Fußangeln und Komplexität mit sich bringt. Den einzelnen Stream wirklich günstig und einfach zu machen, ist eine große Vereinfachung, besonders wenn das flexible Konsumieren eines Streams sowohl für geordnete als auch für ungeordnete Anwendungsfälle einfach gemacht wird. Das scheint für ungeordnet zu funktionieren; ich bin gespannt, wie das verwaltete Aufteilen der Arbeit für die erwähnte schlüsselbasierte Ordnung funktioniert.
- loufe
Wenn ich ein ernsthafter Cloudflare-Kunde wäre, würde ich mir ernsthafte Sorgen um die Sicherheit meiner Infrastruktur bei ihnen machen. Ja, LLMs können schnell programmieren, aber das ist ein fast frenetisches Tempo bei der Veröffentlichung neuer Produkte, und das alles mit weniger Personal.
- max8539
Cloudflare holt auf, um ein vollwertiges AWS/GCP/Azure zu werden. Am Anfang waren es nur ein paar Dienste drumherum, aber sie fügen alles andere hinzu.
- vira28
Ich frage mich, wie viele Data-Infra-Startups ein Wrapper auf S3 sind.
Außerdem verschwimmt die Grenze zwischen OLTP und OLAP jeden Tag mehr.
Für Leute, die eine Off-the-Shelf-Version davon wollen, könnte https://github.com/viggy28/streambed interessant sein.
(Disclaimer: Ich bin einer der Committer)