Cloudflare、Kafkaなしでイベントストリームを実現するK2を公開ベータで発表
Cloudflare K2: serverless event streams

Cloudflareがサーバーレスなイベントストリーミング基盤K2の公開ベータを開始した。K2はR2オブジェクトストレージ上にパーティション化された耐久ログを実装し、Kafkaのような従来の分散システムを使わずに、大規模なデータ移動、長期保持、ファンアウト消費を可能にする。produceレイテンシは99パーセンタイルで約1秒。ベータ期間中は無料で、Workers Paidアカウントなら10GBのストレージと毎秒30MBの書き込みが利用できる。
K2は、R2オブジェクトストレージ上にパーティション化された耐久ログを実装しており、これにより膨大な量のストレージにスケールできる。
HNでの議論
111- psanford
オブジェクトストアは急速に新しい中核データ基盤になりつつある。KafkaをS3上で作ろう。GitHubをS3上で作ろう。今後数年で「オブジェクトストアファースト」のシステムがますます増えていくように感じる。
この未来にはワクワクする。ディスクを管理しなければならないシステムより、ステートレスなサーバーとストレージバケットをいつでも選ぶよ。
S3 APIがこうしたユースケースの更多をサポートするために拡張されるかは気になる。S3は新しいexpress-one-zoneバケットタイプに、お粗末なファイル追記操作を追加したが、ファイル追記操作は合計1万回に制限されている。今後数年で他に何が出てくるのか気になる。
- dangoodmanUT
面白い、私はずっと前にこれをやって、Cloudflareの人たち数人に送った[1]。
彼らがそのインスピレーションからこれをやったのなら嬉しいけど、おそらく違うだろうね :/
- necubi
私はこの記事の著者で、K2のテックリードです。質問があれば喜んで答えます!
- nnx
価格設定が意外だ。データ生成が$0.04/GBは(他のクラウドのイベントストリームと比べて)妥当に思えるが、データ消費も同じ$0.04/GBというのはかなり急だ…
つまり最も単純なケース(コンシューマー1つ)で実際の使用量は$0.08/GBだが、ファンアウト型のコンシューマー戦略はあっという間に非常に高くつく。
- addisonj
ローンチおめでとう!ストリーム/イベントベースのシステムは本当に強力だが、同時にかなり複雑でもある。それは大部分、今日のほとんどの人にとってストリームのモデリングが実際にはKafkaのトピック/パーティションのモデリングであり、そこには多くの落とし穴と複雑さがあるからだ。個々のストリームを本当に安価で簡単にすることは大きな単純化だ。特に、順序ありと順序なしの両方のユースケースでストリームを柔軟に消費することが簡単になればなおさらだ。これは順序なしでは機能するように見えるが、言及されたキーベースの順序付けのためにマネージドがどのように作業を分割するのか興味がある。
- loufe
もし私が真剣なCloudflare顧客なら、彼らに自分のインフラのセキュリティを任せることを真剣に懸念するだろう。確かにLLMは速くコードを書けるが、これはほとんど狂気じみたペースで新製品をリリースしており、しかもスタッフはより少ない。
- max8539
Cloudflareは完全なAWS/GCP/Azureに追いつきつつある。当初はいくつかのサービス周りだけだったが、彼らは他のすべてを追加している。
- vira28
どれだけのデータインフラスタートアップがS3の上に乗ったラッパーなのか気になる。
また、OLTPとOLAPの境界は日々曖昧になっている。
これの既製版が欲しい人にはhttps://github.com/viggy28/streambedが興味深いかもしれない。
(免責事項:私はコミッターの一人です)