Cloudflare, Kafka 없이 서버리스 이벤트 스트림 K2 공개

Cloudflare K2: serverless event streams

Cloudflare, Kafka 없이 서버리스 이벤트 스트림 K2 공개

Cloudflare가 서버리스 이벤트 스트리밍 서비스 K2를 퍼블릭 베타로 출시했다. K2는 R2 객체 스토리지 위에 분할된 로그를 구현해 데이터 손실 없이 장기 보관과 팬아웃 소비를 지원한다. 프로듀서와 컨슈머를 분리해 규모와 시간을 맞출 필요 없이 독립적으로 데이터를 처리할 수 있다. 베타 기간에는 무료이며, 정식 요금은 GB당 쓰기 0.04달러, 읽기 0.04달러, 보관 0.02달러로 예상된다.

대부분의 회사라면 여기서 Apache Kafka를 배포했을 것이다. 하지만 Pipelines는 335개 이상의 도시에 걸친 수많은 서버로 구성된 Cloudflare 엣지에서 실행되기 때문에, 우리는 Kafka 같은 전통적인 분산 시스템 소프트웨어를 실행할 수 없는 경우가 많아 이런 시스템을 구축하고 운영하는 방식을 재고해야 했다.
  1. psanford

    오브젝트 스토어는 빠르게 새로운 핵심 데이터 기반이 되고 있다. Kafka를 만들어 보자, 하지만 S3 위에서. GitHub을 만들어 보자, 하지만 S3 위에서. 앞으로 몇 년 동안 "오브젝트 스토어 우선" 시스템을 점점 더 많이 보게 될 것 같다.

    나는 이런 미래가 기대된다. 디스크가 달린 시스템을 관리하는 대신 상태 없는 서버와 스토리지 버킷을 달라고 하면 언제든 환영이다.

    S3 API가 이런 사용 사례를 더 많이 지원하도록 확장될지 궁금하다. S3는 새로운 express-one-zone 버킷 유형에 조잡한 파일 추가 연산을 추가했는데, 총 파일 추가 연산이 1만 회로 제한된다. 앞으로 몇 년 안에 또 무엇이 나올지 궁금하다.

  2. dangoodmanUT

    웃기네, 나도 예전에 이걸 해서 Cloudflare 사람들 몇 명에게 보냈었다 [1].

    그 영감에서 그들이 이걸 했다면 기쁘겠지만, 아마 아닐 거다 :/

    [1] https://github.com/danthegoodman1/DurableStreams

  3. necubi

    나는 이 글의 저자이자 K2의 테크 리드다. 질문이 있으면 얼마든지 답해주겠다!

  4. nnx

    가격 책정이 놀랍다. Data Produced가 $0.04/GB는 합리적으로 보이지만(다른 클라우드 이벤트 스트림과 비교했을 때), Data Consumed도 같은 $0.04/GB라는 건 상당히 가파르다...

    이는 가장 단순한 경우(소비자 하나)에 실제 사용 비용이 $0.08/GB라는 뜻이지만, 팬아웃 소비자 전략은 매우 빠르게 매우 비싸진다.

  5. addisonj

    출시 축하한다! 스트림/이벤트 기반 시스템은 정말 강력하지만, 동시에 꽤 복잡하기도 하다. 상당 부분은 오늘날 대부분의 사람들에게 스트림을 모델링한다는 것이 Kafka 토픽/파티션을 모델링하는 것과 같아서 온갖 함정과 복잡성이 있기 때문이다. 개별 스트림을 정말 저렴하고 쉽게 만드는 건 큰 단순화다. 특히 정렬된 사용 사례와 비정렬 사용 사례 모두를 위해 스트림을 유연하게 소비하는 것이 간단해진다면 더욱 그렇다. 이건 비정렬에 작동하는 것 같고, 언급된 키 기반 정렬을 위해 관리형으로 작업을 분할하는 방식이 궁금하다.

  6. loufe

    내가 진지한 Cloudflare 고객이라면, 그들과 함께 내 인프라의 보안에 대해 심각하게 걱정할 것이다. 물론 LLM이 빠르게 코딩할 수 있지만, 이건 거의 광적인 속도로 신제품을 출시하는 것이고, 모두 더 적은 인력으로 하고 있다.

  7. max8539

    Cloudflare는 완전한 AWS/GCP/Azure를 따라잡고 있다. 처음에는 몇 가지 서비스만 있었지만, 이제는 다른 모든 것도 추가하고 있다

  8. vira28

    데이터 인프라 스타트업 중 얼마나 많은 것이 S3 위의 래퍼인지 궁금하다.

    또한 OLTP와 OLAP의 경계는 매일 흐려지고 있다.

    이것의 기성품 버전을 원하는 사람들은 https://github.com/viggy28/streambed 에 관심이 있을 수 있다.

    (면책 조항: 나는 커미터 중 한 명이다)

이 날의 다른 글

2026-10-01