Cartesia、トークナイザー不要のH-Netで10倍の計算効率を実現
Scaling Hierarchical Networks
Cartesiaは、バイトレベルから直接学習する階層型ネットワーク（H-Net）のスケーリング則を公開した。BPE Transformerのスケーリングラダーを構築し、トークン化を学習型チャンキングに置き換えるだけで最大3〜5倍の計算効率を確認。さらに2段構成のH-Netは、同等のオープンソースモデルを10分の1の計算量とデータで上回った。文脈内トークン化など言語モデルでは見られなかった挙動も観察されている。
文字やバイトから言語すらうまく学習できないのであれば、次のフロンティアへ進む資格などあるだろうか。