Claude가 손으로 가중치를 짜서 MNIST 91% 달성, 1990년대 컴퓨터 비전 방식 그대로
Weight-Space Programming builds neural networks like a 1990s researcher

Weight-Space Programming은 LLM이 신경망 가중치를 직접 읽고 쓰고 편집하는 실험이다. 필자는 Claude Fable 5.2에게 5,994개 가중치를 학습 없이 손으로 설정하게 했다. 모델은 1990년대 컴퓨터 비전처럼 손으로 그린 템플릿, Sobel 필터, 루프 검출기를 조합해 50단계 만에 테스트 정확도 91.3%를 기록했고, 이는 Adam으로 50번 그래디언트 스텝을 돌린 결과와 비슷하다.
1998년 LeCun의 논문은 그 시대 접근법을 '고정된 특징 추출기와 학습 가능한 분류기'로 설명하며, 특징 추출기는 '종종 완전히 손으로 제작된다'고 썼다. 정확도는 '설계자가 적절한 특징 집합을 떠올리는 능력에 크게 좌우된다'는 것인데, 이는 '안타깝게도 각각의 새로운 문제마다 다시 해야 하는 벅찬 작업'이다. 바로 그 벅찬 작업을 Claude가 맡은 것이다.