Cartesia will Tokenizer durch gelerntes Chunking ersetzen und spart bis zu 10-mal mehr Rechenleistung

Scaling Hierarchical Networks

Cartesia stellt hierarchische Netzwerke (H-Nets) vor, die Tokenisierung durch dynamisches, Ende-zu-Ende gelerntes Chunking ersetzen. In kontrollierten Skalierungsexperimenten erreicht ein einstufiges H-Net 3- bis 5-mal mehr Recheneffizienz allein durch gelernte Tokenisierung; ein zweistufiges H-Net übertrifft ein vergleichbares Open-Source-Modell mit 10-mal weniger Rechenleistung und Daten. Zudem zeigt sich in-Context-Tokenisierung – und erste Ergebnisse in Biologie und Vision deuten auf eine allgemeine Architektur über Modalitäten hinweg.