Una tipografía donde cada token mide lo mismo

Font where each token is equal-width

Una tipografía donde cada token mide lo mismo

El usuario &. creó junto a Astra un prototipo de fuente en la que cada token de un modelo de lenguaje ocupa el mismo ancho, para visualizar cómo los tokenizers fragmentan el texto. La herramienta permite combinar cualquier fuente base con el tokenizer que se elija, e incluye instrucciones para instalarla en Discord y Slack. Algunos modelos, como GLM-5 y LLaMa 3, siguen siendo poco fiables; otros aciertan más del 99% de las veces.

OpenType tiene un límite de 65.536 ligaduras y los tokenizers están hechos un desastre, así que esto tuvo que implementarse usando GSUB y cmap.

Más de este día

2026-09-27