当 king 减去 man 加上 woman，我惊了

In Which I Lose My Mind over Embeddings (HPLM Chapter 2)

阅读《Hundred-Page Language Models Book》第二章时，我对 Embeddings 的概念彻底着迷。文章深入解析了从 Tokenization 到 Word2vec 的核心原理，特别是那些看似荒谬却真实的向量运算：用向量表示“king”减去“man”再加上“woman”，结果竟然精准指向“queen”。为了验证这一现象，我动手编写了 Word2Vec Arithmetic 应用，对比了基于 text8、enwik9 以及 Stanford NLP 的 GloVe 模型。实验显示，随着训练数据从 100MB 增加到 60 亿 token，模型在“walking - walk + swim”等复杂运算中的表现显著提升，从错误的“crawling”进化为正确的“swimming”。虽然部分数学直觉仍显晦涩，但向量空间捕捉语义关系的能力令人叹为观止。