Энтузиаст дообучил Qwen на своей 16-гигабайтной видеокарте писать без буквы «e»
Fine-tuned Qwen on my 16gb GPU to respond without the letter e
Автор вдохновился RL-проектом, где модель учили рисовать цветы кодом, и решил обучить Qwen3-1.7B липограммам — тексту без буквы «e». Задача сложна тем, что модель видит токены, а не буквы. Маска, запрещающая токены с «e», подняла долю пригодных ответов с 0% до 26%, обучение на романе «Gadsby» не помогло, а SFT на собственных примерах дал 35%. Финальный рывок принёс RL с судьёй GPT-6 Luna, оценивающим связность и релевантность. Всё уместилось в 16 ГБ.
Оказывается, эта задача довольно сложная — примерно так же, как LLM (раньше) с трудом считали количество букв «r» в слове «strawberry»: они читают текст токенами, а не словами, поэтому наличие «e» модель напрямую не видит.