LLM Attention Visualization: 可视化大模型注意力机制
这是一个专为大语言模型设计的注意力机制可视化工具。通过点击或悬停生成的文本，你可以直观地看到模型在生成每个词时，具体参考了哪些历史 token。它揭示了 LLM 为何能精准复制粘贴信息，以及如何处理复杂的语义关联。项目基于 React 和 Transformers.js 构建，作者甚至修改了 ONNX 文件以暴露内部计算数据，让原本黑盒的生成过程变得透明有趣。
当你悬停在生成的文本上，原本看似随机的概率预测过程，瞬间展现出模型如何精准地从过往信息中汲取灵感，这彻底颠覆了我对大模型如何‘复制粘贴’的认知。