在16GB显卡上微调Qwen，让它告别字母e
Fine-tuned Qwen on my 16gb GPU to respond without the letter e
受用代码画花的启发，我尝试让Qwen3-1.7B学会写不含字母'e'的文本。由于模型基于token而非字符理解，直接指令或单纯屏蔽都难以奏效。我通过构建专属数据集进行SFT微调，再结合GPT-6 Luna作为裁判进行RL训练，最终在本地16GB显卡上实现了这一目标。文章详细记录了从数据构建、SFT策略到RL奖励机制设计的完整过程，展示了如何让LLM在严格约束下依然输出通顺的回答。
事实证明，这项任务相当具有挑战性，就像LLM曾经难以数清'strawberry'中有多少个'r'一样：它们是按token读取文本而非单词，因此模型无法直接感知某个词是否包含字母'e'。
HN 评论区
20- jamesdutc
上学时有一年，我们被要求用 E-Prime 写论文：https://en.wikipedia.org/wiki/E-Prime
如果我没记错的话，每出现一次未能消除的情况，就会扣一分。
我怀疑让模型（或现有模型）学会这一点几乎轻而易举，但就像写草书一样，有人可能会争辩说，这些活动（尽管看起来可能很荒谬……）确实能积极促进儿童的成长和发展。
（事实上，我其实正在慢慢重新学习标准的草书……）
- _ache_
Qwn 这个别名，我想，倒是十分贴切。
- NooneAtAll5
我好奇的是，与其直接屏蔽坏 token，是否可以在训练过程中逐渐增加这些 token 的负权重？