16GB GPU로 Qwen을 미세조정해 'e' 없이 답하게 만들었다

Fine-tuned Qwen on my 16gb GPU to respond without the letter e

Qwen3-1.7B를 개인용 16GB GPU에서 미세조정해, 알파벳 'e'를 전혀 쓰지 않고 일상적인 질문에 답하도록 만든 프로젝트다. 모델은 글자가 아닌 토큰 단위로 텍스트를 보기 때문에 'e' 포함 여부를 직접 알 수 없어, 저자는 'e'가 든 토큰을 차단하는 마스크와 GPT-6 Luna 심사 모델을 활용했다. 'e' 없는 예시 답변으로 SFT를 거친 뒤 심사 점수를 보상으로 RL을 돌려, 사용 가능한 답변 비율을 26%에서 크게 끌어올렸다.