Каждый LLM-токен получает одинаковую ширину в новом шрифтовом компиляторе
Generate fonts where every LLM token is the same width
Компилятор превращает любой TTF, OTF, WOFF или WOFF2 в token-space font, где каждый токен заданного токенизатора занимает ровно 3 em. Инструмент работает прямо в браузере на Pyodide и fontTools, поддерживает темы для Discord через Vesktop и userscript для Slack. Автор предупреждает: это визуализация, а не точный счётчик токенов — из-за нормализации, сложных скриптов и разрывов shaping-прогонов возможны расхождения.
Это token font, а не точный счётчик токенов для всего сообщения.