LLM이 신경망 가중치를 직접 읽고 고친다? 그건 초인적 능력이 아니다
LLMs are not superhuman at reading and writing neural network weights
최근 논문은 GPT-6 Astra가 신경망 가중치를 직접 읽고 수정해 작은 게임 모델의 학습 목적을 알아내고 0.8B Qwen의 수학 능력까지 개선했다고 주장한다. 저자는 이를 초인적 능력으로 보기 어렵다고 반박한다. 입력 채널이 라벨링되어 있어 게임 식별은 간단한 계산으로 가능하고, Qwen 개선 역시 반복 루프를 유발하는 가중치를 깎아내는 기존 abliteration 기법을 그대로 적용한 것에 불과하다는 것이다.
우리는 이것을 LLM이 기계어를 출력하고 컴파일된 바이너리를 조작하는 능력에 비유해야 한다. 인상적인 묘기지만, 바이너리를 다루는 최선의 방법은 여전히 소스 코드를 작성해 컴파일하는 것이다.
- nfw2
여기서 이들이 '초인적'이라고 할 수 있다면, 마치 LLM이 수학에서 초인적이라고 말할 수 있는 것과 같은 방식일 것이다. 아마도 이들은 어떤 사람이 수작업으로 하는 것보다 더 빠르고 효과적으로 이 작업을 수행할지도 모른다. 하지만 이들은 분명히 여전히 '인간적인' 방식으로, 즉 읽을 수 있고 일관된 사고로 추론하며 하고 있는 것이지, 글을 대충 훑은 사람들이 가정하는 것처럼 어떤 Matrix 같은 기호 체계를 통해 교감하는 게 아니다.
- nagi_builds
"똑똑한 인간 ML 연구자라면 이 모든 작업을 수행할 수 있다고 생각한다."
그리고 그걸 얼마나 오래 할 수 있는데?
- ChrisArchitect
원문 토론: