Cloudflare K2: серверлесс-потоки событий на базе R2

Cloudflare K2: serverless event streams

Cloudflare K2: серверлесс-потоки событий на базе R2

Cloudflare запускает K2 в публичной бете — полностью серверлесс-примитив для потоковой передачи событий. Он решает проблему рассинхронизации производителей и потребителей: события сохраняются в упорядоченный лог на R2, поддерживают длительное хранение и масштабируются до огромных объёмов. K2 позволяет нескольким потребителям независимо читать данные с параллелизмом, а также поддерживает шаблон pub/sub. В бете доступно 10 ГБ хранилища и 30 МБ/с на поток, биллинг пока не взимается.

Мы решили положиться на мощный примитив состояния, который у нас уже есть: R2. Объектные хранилища вроде R2 сочетают исключительно надёжное хранение (11 девяток!) с строго согласованными API.
  1. psanford

    Объектное хранилище быстро становится новой базовой основой для данных. Давайте построим kafka, но на s3. Давайте построим github, но на s3. Похоже, в ближайшие годы мы увидим всё больше и больше систем, ориентированных в первую очередь на объектное хранилище.

    Меня воодушевляет такое будущее. Дайте мне stateless-серверы и бакет для хранения вместо того, чтобы управлять системами с дисками, в любой день.

    Интересно, увидим ли мы расширение API s3 для поддержки большего числа таких сценариев. S3 добавили кривую операцию добавления в файл для своего нового типа бакетов express-one-zone, причём с ограничением в 10 тысяч операций добавления на файл. Интересно, что ещё мы получим в ближайшие несколько лет.

  2. dangoodmanUT

    Забавно, я сделал это некоторое время назад и отправил нескольким людям в Cloudflare [1].

    Был бы рад, если бы они сделали это по моему вдохновению, но, вероятно, нет :/

    [1] https://github.com/danthegoodman1/DurableStreams

  3. necubi

    Я автор поста и tech lead K2. Готов ответить на любые вопросы!

  4. nnx

    Ценообразование удивляет. Data Produced по $0.04/GB кажется разумным (по сравнению с другими облачными потоками событий), но Data Consumed по той же цене $0.04/GB довольно круто...

    Это означает, что фактическое использование стоит $0.08/GB в простейшем случае (один потребитель), но стратегии с fan-out потребителями становятся очень дорогими очень быстро.

  5. addisonj

    Поздравляю с запуском! Системы на основе потоков/событий действительно мощные, но они также довольно сложные, не в последнюю очередь потому, что моделирование потоков для большинства людей сегодня — это по сути моделирование Kafka topic/partitions, которое таит в себе кучу подводных камней и сложности. Сделать отдельный поток действительно дешёвым и простым — это большое упрощение, особенно если гибкое потребление потока как для упорядоченных, так и для неупорядоченных сценариев сделано простым. Похоже, это работает для неупорядоченных, интересно посмотреть, как управляемое разделение работы для упомянутого упорядочивания по ключу.

  6. loufe

    Если бы я был серьёзным клиентом Cloudflare, я бы серьёзно беспокоился о безопасности своей инфраструктуры у них. Да, LLM могут быстро писать код, но это почти бешеная скорость выпуска новых продуктов, и всё это с меньшим количеством персонала.

  7. max8539

    Cloudflare догоняет и становится полноценным AWS/GCP/Azure. Вначале это были всего лишь несколько сервисов вокруг, но теперь они добавляют всё остальное.

  8. vira28

    Интересно, сколько стартапов в области инфраструктуры данных — это обёртки поверх S3.

    К тому же граница между OLTP и OLAP размывается с каждым днём.

    Тем, кто хочет готовую версию этого, может быть интересно https://github.com/viggy28/streambed

    (Дисклеймер: я один из коммиттеров)

Ещё за этот день

2026-10-01