Cloudflare K2: серверлесс-потоки событий на базе R2
Cloudflare K2: serverless event streams

Cloudflare запускает K2 в публичной бете — полностью серверлесс-примитив для потоковой передачи событий. Он решает проблему рассинхронизации производителей и потребителей: события сохраняются в упорядоченный лог на R2, поддерживают длительное хранение и масштабируются до огромных объёмов. K2 позволяет нескольким потребителям независимо читать данные с параллелизмом, а также поддерживает шаблон pub/sub. В бете доступно 10 ГБ хранилища и 30 МБ/с на поток, биллинг пока не взимается.
Мы решили положиться на мощный примитив состояния, который у нас уже есть: R2. Объектные хранилища вроде R2 сочетают исключительно надёжное хранение (11 девяток!) с строго согласованными API.
- psanford
Объектное хранилище быстро становится новой базовой основой для данных. Давайте построим kafka, но на s3. Давайте построим github, но на s3. Похоже, в ближайшие годы мы увидим всё больше и больше систем, ориентированных в первую очередь на объектное хранилище.
Меня воодушевляет такое будущее. Дайте мне stateless-серверы и бакет для хранения вместо того, чтобы управлять системами с дисками, в любой день.
Интересно, увидим ли мы расширение API s3 для поддержки большего числа таких сценариев. S3 добавили кривую операцию добавления в файл для своего нового типа бакетов express-one-zone, причём с ограничением в 10 тысяч операций добавления на файл. Интересно, что ещё мы получим в ближайшие несколько лет.
- dangoodmanUT
Забавно, я сделал это некоторое время назад и отправил нескольким людям в Cloudflare [1].
Был бы рад, если бы они сделали это по моему вдохновению, но, вероятно, нет :/
- necubi
Я автор поста и tech lead K2. Готов ответить на любые вопросы!
- nnx
Ценообразование удивляет. Data Produced по $0.04/GB кажется разумным (по сравнению с другими облачными потоками событий), но Data Consumed по той же цене $0.04/GB довольно круто...
Это означает, что фактическое использование стоит $0.08/GB в простейшем случае (один потребитель), но стратегии с fan-out потребителями становятся очень дорогими очень быстро.
- addisonj
Поздравляю с запуском! Системы на основе потоков/событий действительно мощные, но они также довольно сложные, не в последнюю очередь потому, что моделирование потоков для большинства людей сегодня — это по сути моделирование Kafka topic/partitions, которое таит в себе кучу подводных камней и сложности. Сделать отдельный поток действительно дешёвым и простым — это большое упрощение, особенно если гибкое потребление потока как для упорядоченных, так и для неупорядоченных сценариев сделано простым. Похоже, это работает для неупорядоченных, интересно посмотреть, как управляемое разделение работы для упомянутого упорядочивания по ключу.
- loufe
Если бы я был серьёзным клиентом Cloudflare, я бы серьёзно беспокоился о безопасности своей инфраструктуры у них. Да, LLM могут быстро писать код, но это почти бешеная скорость выпуска новых продуктов, и всё это с меньшим количеством персонала.
- max8539
Cloudflare догоняет и становится полноценным AWS/GCP/Azure. Вначале это были всего лишь несколько сервисов вокруг, но теперь они добавляют всё остальное.
- vira28
Интересно, сколько стартапов в области инфраструктуры данных — это обёртки поверх S3.
К тому же граница между OLTP и OLAP размывается с каждым днём.
Тем, кто хочет готовую версию этого, может быть интересно https://github.com/viggy28/streambed
(Дисклеймер: я один из коммиттеров)