GigaToken：言語モデルのトークナイゼーションを約1000倍高速化するドロップイン代替

GigaToken: ~1000x faster Language model tokenization

GigaTokenは、HuggingFace Tokenizersやtiktokenと互換性のあるドロップイン代替として設計された、言語モデル向けの最速トークナイザーです。SIMDやキャッシュ最適化などの手法により、プリトークナイゼーションを高速化し、Pythonとのやり取りを最小限に抑えています。ベンチマークでは、GPT-2でHuggingFace Tokenizers比989倍（AMD EPYC 9565）、Apple M4 Maxでは1268倍のスループットを達成。Common Crawl全体（約130兆トークン）を6.5時間でトークナイズできるとしています。