노트북에서 돌린 Qwen 3.8 27B, 모델 가중치를 읽고 게임을 맞히다
Qwen 3.8 27B on my laptop can interpret model weights, too
Rikiya Takehi 등의 논문은 GPT-6 Astra가 신경망 가중치만 보고 학습된 게임을 맞히고 가중치를 직접 수정해 수학 성능을 7.9%에서 48.1%로 끌어올린다고 주장한다. Simon Willison은 도구 없이 가중치만으로 게임을 추론하는 실험을 자신의 노트북에서 Qwen 3.8 27B로 재현해 Pac-Man, Pong, Breakout을 성공적으로 식별했다. Freeway는 실패했지만, 저자는 이 능력이 과대평가됐다며 소스 코드 시대의 종말을 선언하기엔 이르다고 본다.
나는 소스 코드의 시대가 끝났다거나, 우리의 미래가 이해 불가능한 기계가 이해 불가능한 방식으로 자기 모델 가중치를 편집하는 일이 될 것이라고 선언할 준비는 되어 있지 않다.
HN 토론
167- variaga
특정 모델의 능력에 대해 어떤 주장도 하려는 건 아니지만, 이런 "모델 가중치를 해석할 수 있다"는 글들을 보면 셰익스피어의 헨리 4세에 나오는 대사가 떠오릅니다.
글렌다워: 나는 저 깊은 심연에서 영혼들을 불러낼 수 있지.
핫스퍼: 왜, 나도 그럴 수 있고, 누구든 그럴 수 있지. 하지만 네가 부를 때 그들이 올까?
나도 가중치를 해석할 수 있습니다. 하지만 그 해석이 올바를까요?
- zkmon
Qwen-3.8-27B - 지금까지 AI에서 일어난 최고의 일.
이 녀석은 당신이 더 높은 수준의 설계자나 의사결정자 역할을 기꺼이 맡는다면 프런티어 모델들이 내는 것과 같은 결과를 달성할 수 있습니다. 테크 리드처럼 여기저기서 조금씩 안내해주면 모든 게 완료됩니다.
프런티어 모델에 지불하는 돈은 바로 그 높은 수준의 방향 설정 작업을 에이전트에게 아웃소싱하는 대가인 셈이죠.
- athrowaway3z
새로운 벤치마크가 나오길 바랍니다: 모델이 가중치 세트를 얼마나 잘 조정해서 자전거 탄 펠리컨을 만들어낼 수 있는가?
- data-ottawa
아마 제가 놓치고 있는 것일 수도 있지만, Qwen 3.8이 Qwen 3.8의 가중치를 변경할 수 있나요?
구형 Qwen 모델에는 행동 변화를 유도하는 것으로 오래전부터 알려진 뉴런들이 많이 있습니다(가중치 하나를 바꿔서 사악한 Qwen을 만든 사례 참조).
제 질문은 결국 훈련된 것과 실제로 가중치를 이해하는 것의 비중이 얼마나 되느냐입니다. 아마 같은 세대 모델은 그 세대를 해부한 자료로 훈련되지 않았을 겁니다. 그리고 스티어링 벡터, J 공간, LoRA 같은 오래 알려진 개념들이 여기서 얼마나 작용하나요?
이건 게임 훈련 사례를 설명하지 못하는데, 그건 제게 매우 인상적입니다.
- layer8
> 소스 코드의 시대가 끝났고 우리의 미래는 이해할 수 없는 기계가 이해할 수 없는 방식으로 자기 모델 가중치를 편집하는 것이라고 선언할 준비는 안 됐다.
그건 생물학과 좀 비슷하게 들리네요. 어쩌면 AI가 그렇게 될지도 모르겠습니다.
- olalonde
몇 주 전에 저도 비슷한 생각을 하고 있었습니다[0]. 특히 가중치 조작을 일종의 프로그래밍/컴파일 작업으로 볼 수 있을지에 대해서요. 합성 데이터셋으로 훨씬 더 많은 훈련이 필요할 거라고 예상했습니다. 기존 모델들이 이미 어느 정도 잘한다는 게 놀랍네요.
- NitpickLawyer
Simon, 시간 되시면 블로그 글의 실험 5를 재현해볼 수 있나요? 이 사람이 API 모델로 시도해봤는데[1] 최신 모델들만이 PPO 기준선 대비 인상적인 10-20배 성능을 낼 수 있었다고 합니다.
[1] - https://nitter.netbub.com/AlexKrentsel/status/21173766837246...
- mirekrusin
그럼 누가 처음으로 모델이 자신의 가중치를 보고, 업데이트하고, 다시 로드하는 것을 루프로 만들까요?