16GBのGPUでQwenを微調整、「e」を一切使わずに答えるモデルを作った
Fine-tuned Qwen on my 16gb GPU to respond without the letter e
著者は16GBのGPU上でQwen3-1.7Bをファインチューニングし、「e」を含まない回答を生成させることに挑戦した。LLMは文字ではなくトークン単位で読むため、この制約は本質的に難しい。マスクだけでは26%止まりだったが、自作データでのSFTで35%まで改善し、さらにGPT-6 Lunaを審査役にしたRLで実用率を引き上げた。
マスクはあらゆる「e」を取り除くが、モデルにそもそも「e」を避ける語を選ぶことを教えるわけではないため、しばしば同じことを繰り返したり、単語を綴り間違えたりしてしまう。
HNでの議論
20- jamesdutc
学校のある年、私たちはE-Primeでエッセイを書かされました：https://en.wikipedia.org/wiki/E-Prime
記憶が正しければ、排除し損ねたインスタンスごとに1点減点されました。
これを訓練する（または既存のモデルにやらせる）のはほぼ自明だと思いますが、筆記体を書くのと同じように、こうした活動（どんなに馬鹿げて見えても…）は子どもの成長と発達に真にプラスに寄与すると主張できるかもしれません。
（実際、私は今、正しい筆記体をゆっくりと自分に再教育しているところです…）
- _ache_
Qwnは、思うに、à proposな別名だ。
- NooneAtAll5
悪いトークンを完全にマスクする代わりに、それらに対する負の重みを徐々に増やしながらトレーニングすることもできたのではないだろうか。