告别 Tokenizer：H-Nets 让 AI 直接学习原始字节

Scaling Hierarchical Networks

自 Richard Sutton 提出 'bitter lesson' 以来，AI 界一直在追求摆脱人工先验，直接从数据中学习。然而，现有的语言模型仍依赖人工设计的 Tokenizer，阻碍了端到端的学习能力。我们提出了 Hierarchical Networks (H-Nets)，一种能够动态、分层地对原始字节进行分块的新型架构。实验表明，H-Nets 不仅无需预训练 Tokenizer，还能在代码等子任务上实现 2 倍的性能提升，甚至在更灵活的 2-stage 架构下，以 10 倍更少的计算和数据成本超越开源模型。这不仅是语言模型的进化，更是通向通用 AI 架构的关键一步。