Cartesia, 토크나이저 없이 바이트에서 직접 학습하는 H-Net으로 10배 효율 달성

Scaling Hierarchical Networks

Cartesia가 토크나이저를 제거한 계층적 네트워크(H-Net)의 스케일링 결과를 공개했다. BPE Transformer와 동일한 조건에서 비교한 1단계 H-Net은 학습된 토크나이저만으로 최대 3~5배의 연산 효율을 보였고, 2단계 H-Net은 오픈소스 모델을 10분의 1의 연산과 데이터로 앞섰다. 모델 내부에서 동적으로 청킹하며 문맥 내 토크나이제이션 같은 새로운 행동도 나타났다. 바이트 수준 언어 모델이 일반 학습 방법의 시금석이라는 주장이다.