Cartesia afirma que sus H-Nets aprenden el lenguaje desde los bytes y superan a los modelos tokenizados con 10 veces menos cómputo

Scaling Hierarchical Networks

Cartesia presenta una versión mejorada de sus redes jerárquicas (H-Nets), que sustituyen el tokenizador por un chunking aprendido de extremo a extremo directamente sobre bytes. Frente a una escalera de Transformers con BPE, las H-Nets de una etapa logran hasta 3-5 veces más eficiencia de cómputo; una H-Net de dos etapas supera a un modelo open-source comparable usando 10 veces menos cómputo y datos. También muestran comportamientos nuevos, como la tokenización en contexto, y avances preliminares en biología y visión.