TokenTown：把 LLM 变成一座可视化城市

TokenTown: A visual way to understand how LLMs work

TokenTown 将复杂的 LLM 内部运作过程具象化为一座等距视角的城市。在这里，每一个街区都对应 Transformer 模型的一个阶段：从 Tokenizer Docks 的切分，到 Embedding Foundry 的向量化，再到 Attention Plaza 的注意力计算。用户输入提示词后，可以看到隐藏状态像车队一样穿梭于城市道路，经历 LayerNorm、多头注意力、残差连接和 GELU 前馈网络，最终在 Vocabulary Stadium 生成概率分布并采样出下一个 token。该项目在浏览器中实时计算了分词、嵌入查找、位置编码和 KV cache 等核心步骤，虽然权重是随机的，但其机制完全真实。通过这种生动的可视化方式，即使是非专业人士也能直观理解 LLM 是如何一步步‘思考’并生成文本的。