Reflection, 501B 오픈 웨이트 모델 'Beam' 공개

Beam: Reflection's 501B open-weight model

Reflection, 501B 오픈 웨이트 모델 'Beam' 공개

Reflection이 첫 오픈 웨이트 모델 Beam을 공개했다. 501B 총 파라미터에 23B 활성 파라미터를 가진 희소 MoE 모델로, 코딩과 에이전트 작업에 특화됐다. 23.8조 토큰으로 사전학습하고 10.5K NVIDIA GB300 GPU로 4주간 1억 회 이상의 롤아웃을 생성하는 대규모 RL을 수행했다. GLM 5.2와 유사한 성능을 3~4배 적은 추론 컴퓨트로 달성하며, 가중치는 이번 달 말 공개될 예정이다.

우리는 10.5K NVIDIA GB300 GPU를 4주 동안 배치해 1억 회 이상의 롤아웃을 생성했으며, 최대 컨텍스트 길이는 256K 토큰이었다.
  1. Ariarule

    오픈 웨이트 모델이 더 나오는 건 언제나 반갑지만, 두 번째 데모 이미지의 이 캡션이라니 고개를 갸웃하게 만들었습니다: "육지/물 일반화 실험: 우리는 바이럴된 X 퍼즐을 재현하기 위해 Beam에게 경도 -179°에서 179°, 위도 -89°에서 89°에 걸친 고정된 180×90 그리드를 16,200개 지점으로 생성하도록 요청했습니다. 이 퍼즐은 며칠 된 것이라 학습 데이터에 들어갈 수 없었기에, 모델의 일반화를 테스트하는 셈입니다. Beam은 95.5% 커버리지를 맞춰 Opus 5(92.5%)와 Fable 5(97.8%) 사이에 위치했으며, 이는 새로운 과제에 얼마나 잘 일반화하는지를 보여줍니다."

    아이고, 아니에요, 이 "퍼즐이 며칠밖에 안 됐다"는 말은 소셜 미디어에서 최근에 유행한 것일지라도 틀렸습니다. 모델에게 이런 방식으로 세계 지도를 생성하도록 요청하는 건 _적어도_ 2025년 8월부터 있었습니다. 그때 LessWrong에 올라왔거든요: https://www.lesswrong.com/posts/xwdRzJxyqFqgXTWbH/how-does-a...

  2. htrp

    > Beam은 총 파라미터 5010억 개, 활성 파라미터 230억 개의 sparse Mixture-of-Experts 모델로, 코딩, 추론, 에이전틱 워크로드를 위해 만들어졌습니다.

    > Beam의 성능은 사전 학습과 강화 학습(RL) 양쪽에 대한 대규모 투자에서 나옵니다. 우리는 웹과 독점 라이선스 데이터셋에서 수집한 23.8조 개의 다양하고 선별된 고품질 토큰으로 모델을 사전 학습했으며, 이는 비슷한 크기의 공개 베이스 모델들과 대등하거나 능가합니다. 동시에 우리는 예외적인 규모로 고연산 RL을 지속하는 데 필요한 알고리즘, 학습 환경, 인프라를 개발했습니다. 우리의 고연산 RL 실행은 4주간의 학습 동안 10.5K NVIDIA GB300 GPU에서 1억 건이 넘는 롤아웃을 생성했습니다.

    얼리 액세스, 가중치도 기술 세부 정보도 없이, 그냥 여기서 정보 받으라고 가입하라는 것뿐

  3. algoth1

    이것도 속으로는 Reflection 70B 때처럼 Claude로 라우팅되는 건가요? 그때는 출력에서 "Claude"를 제거하려고 기본적인 정규식까지 돌렸던 걸로 기억합니다. 그리고 나서는 포스트모템에서 완전히 투명하겠다고 약속했지만(무슨 일이 있었는지 전혀 몰랐다고 주장했죠), 포스트모템은 끝내 나오지 않았습니다

  4. wren6991

    같은 무게급의 다른 동시대 모델(DeepSeek V4.1 Flash)과 몇 가지 핵심 수치를 비교해보면 흥미로울 것 같았습니다.

    DS V4.1F Beam

    LM 총 파라미터 552B 501B

    LM 활성 파라미터 (prefill) 8B 23B

    LM 활성 파라미터 (decode) 16B 23B

    N-gram/PLE 파라미터 196B 0

    사전 학습 토큰 45T 28T

    디스크 KV 바이트/토큰 (FP4) 890 정보 없음

    비전 예 (사전 학습) 아니오

    가중치 공개 예 (출시일) "이번 달"

    가중치 라이선스 MIT Apache 2.0

    얼핏 보면 벤치마크는 인상적이지만, Linus의 말을 바꿔 말하자면: "말은 싸다, 가중치를 보여달라." :-)

  5. NorwegianDude

    더 크면서도 더 작은 기존 무료 중국 모델들보다 여전히 못하나요? 오픈 웨이트 모델은 좋지만, 이 시점에서는 중국 기업들이 연구 결과를 많이 공개하는데도 서구 모델들이 중국 모델들에 크게 뒤처진 것 같습니다. 경쟁 없이 중국이나 미국 모델 중 하나에 묶여 있는 건 위험하니, 더 많은 오픈 모델과 더 많은 제공자가 나오길 바랍니다.

    Google은 Gemma 모델로 정말 잘하고 있습니다. 실제로 언어를 잘하는 몇 안 되는 언어 모델 중 하나죠. OpenAI의 최고 폐쇄 모델들은 노르웨이어조차 제대로 쓰지 못합니다.

  6. efficient_dairy

    저는 이제 오픈 웨이트 모델이 그렇게 인상적이지 않습니다. MiMo-V2.6은 이미 그렇게 미친 아키텍처가 아니어도 충분한 연산만 있으면 된다는 걸 보여줬고, 그럼 병목은 그냥 데이터입니다. OAI와 Anthropic이 대체로 프런티어 모델인 이유는 그들이 만든 합성 데이터 때문입니다. 그들은 거대한 고객 기반을 가지고 있고, 사용자 데이터를 보유하며, 고객이 모델을 어떤 작업에 쓰는지, 어떤 도메인에 합성 데이터를 만들어야 하는지도 알고 있습니다.

  7. onlyrealcuzzo

    이건 DeepSeek v4.1 Flash보다 더 크고, 실행 비용도 더 비싸며, 측정된 모든 지표에서 더 나쁜 것 같습니다.

    제가 뭔가 놓치고 있는 걸까요?

  8. reissbaker

    또 하나의 평범하지만 완전 서구산 오픈 모델(Mistral, Trinity, Poolside, Inkling 등등과 함께)이 나오는 대신, 서구의 [neloab]가 Qwen이 시작한 것과 같은 방식으로 시작했으면 정말 좋겠습니다: 포스트 트레이닝에 집중하는 것이죠. Qwen의 첫 릴리스는 Llama 1 파인튜닝이었습니다 [1]! 일단 쓸모 있게 만든 다음에야 그들은 스택을 거슬러 올라가 자체 사전 학습도 하기 시작했습니다. 사전 학습부터 시작하는 건 정말 낭비처럼 느껴집니다: 중국 모델 가중치 안에는 수백만 달러어치의 결정화된 연산과 데이터가 들어 있잖아요. 그것들 중 하나로 시작해서, 쓸모 있다고 증명할 수 있는 걸 릴리스한 뒤에야 사전 학습으로 거슬러 올라가면 되지 않을까요?

    1: https://en.wikipedia.org/wiki/Qwen

이 날의 다른 글

2026-10-05