Una tipografía donde cada token mide lo mismo
Font where each token is equal-width
El usuario &. creó junto a Astra un prototipo de fuente en la que cada token de un modelo de lenguaje ocupa el mismo ancho, para visualizar cómo los tokenizers fragmentan el texto. La herramienta permite combinar cualquier fuente base con el tokenizer que se elija, e incluye instrucciones para instalarla en Discord y Slack. Algunos modelos, como GLM-5 y LLaMa 3, siguen siendo poco fiables; otros aciertan más del 99% de las veces.
OpenType tiene un límite de 65.536 ligaduras y los tokenizers están hechos un desastre, así que esto tuvo que implementarse usando GSUB y cmap.