Шрифт, в котором каждый токен занимает одинаковую ширину
Font where each token is equal-width
Разработчик под ником &. вместе с Astra создал шрифт, где каждый токен имеет одинаковую ширину. Это наглядно показывает, почему языковые модели допускают странные ошибки. Прототип доступен в виде веб-страницы: можно скомбинировать базовый шрифт с любым токенизатором. Точность для большинства моделей выше 99%, но GLM-5 и LLaMa 3 пока ненадёжны. Шрифт можно установить в Discord и Slack, чтобы читать вывод ИИ так, как его «видит» сама модель.
OpenType имеет лимит в 65 536 лигатур, а токенизаторы настолько запутаны, что это пришлось реализовывать через GSUB и cmap. Версия для Claude использует динамическое программирование и поиск кратчайших путей прямо внутри шрифта, чтобы найти максимально компактное представление внутри токенизатора.