AI 토큰을 똑같은 폭으로 보여주는 폰트, 왜 모델이 이상한지 눈으로 확인하세요
Font where each token is equal-width
&.가 Astra와 함께 각 토큰이 동일한 폭을 갖는 폰트를 초기 프로토타입으로 제작했다. 토크나이저의 토큰 경계를 시각적으로 보여줘 모델의 특이한 동작을 이해하도록 돕는다. 웹페이지에서 원하는 토크나이저와 기본 폰트를 조합해 직접 만들 수 있으며, Discord와 Slack에 설치해 AI가 쓴 방식 그대로 출력을 읽을 수 있다. GLM-5와 LLaMa 3는 아직 불안정하지만 다른 모델은 99% 이상 정확하다.
OpenType has a 65,536 ligature limit and tokenizers are fucked up so this had to be implemented using GSUB and cmap The Claude one uses dynamic-programming and shortest-paths search *inside the font* to search for the most compact possible representation inside the tokenizer