各トークンが等幅になるフォント、AIモデルの癖を可視化
Font where each token is equal-width
&.氏がAstraと共同で、各トークンが等幅になるフォントを試作。トークナイザーとベースフォントを組み合わせて自作できるWebページも公開し、DiscordやSlackにインストールすればAIの出力をAIが書いた通りに読める。GLM-5やLLaMa 3はまだ不安定だが、他のモデルは99%以上の精度で、マージ規則やカーニングなど稀なエッジケースは今後の課題。
OpenTypeには65,536のリガチャ制限があり、トークナイザーはめちゃくちゃなので、これはGSUBとcmapを使って実装するしかなかった。Claudeのものはフォント内部で動的計画法と最短経路探索を使い、トークナイザー内で最もコンパクトな表現を探す。
HNでの議論
14- gchamonlive
Twitter以外に共有できる場所はないんですか？
先に言っておくと、xcancelみたいな延命装置を使うつもりはないし、xdyingはとっくに潮時です
- happytoexplain
はは、それはいいね。でも素人目には、著者が「文字が重なっているからstrawberryのRの数を数えられない」と言いたいように見えて、それが面白い。
- dahart
可愛いアイデアだけど、これは固定幅の単語であって、固定幅のトークンではないのでは？'ing'で終わる語は普通、語根とは別のトークンじゃない？'strawberry'は2トークンじゃない？