H-Net обходит токенизацию и экономит до 10 раз больше вычислений

Scaling Hierarchical Networks

Cartesia развивает идею «горького урока» Ричарда Саттона: интеллект должен учиться на сырых данных, а не на ручных эвристиках. Токенизаторы вроде BPE — последний рукотворный этап в LLM, и его можно убрать. Иерархические сети (H-Net) динамически нарезают байты на чанки прямо внутри модели, а не заранее. В контролируемом сравнении одноуровневый H-Net даёт выигрыш до 3–5x по вычислениям, а двухуровневый обходит open-source модель при в 10 раз меньших затратах вычислений и данных.