Anthropic의 차기 모델 'numbat' 체크포인트가 Hugging Face에 유출됐다
Alleged Mythos Class Anthropic Checkpoint Leak
14조 파라미터, 114개 레이어, 하이브리드 GDN/MLA와 1,224개 전문가 MoE, NVFP4로 구성된 Anthropic의 차기 Mythos급 학습 런 'numbat'의 중간 체크포인트가 Hugging Face에 올라왔다. 772개 샤드, 총 7.72TB 규모로, 모든 텐서가 strict=True로 로드되는 완전한 참조 구현까지 포함돼 있다. 업로더는 출처를 밝히지 않았고, 이 체크포인트는 전체 약 196만 스텝 중 183만 스텝, 즉 사전학습 도중에 뽑힌 것이다.
이건 약 196만 스텝짜리 런의 183만 번째 스텝에서 나온 사전학습 체크포인트다. 후처리도, RLHF도 없다. 순수한 사전학습 완성 결과물이다.