‘Astra가 가중치를 읽고 써서 Qwen을 개선한다’는 글은 심하게 오해를 부른다
The 'Astra can read and write weights to improve Qwen' post is misleading
블로그 글은 ‘Astra가 원시 가중치만 보고 Qwen3.5-0.8B의 수학 성능을 7.9%에서 48.1%로 끌어올렸다’고 주장하지만, 실제로는 Python을 쓰고 모델을 50배치까지 실행한 실험이었다. 원시 가중치만 사용한 실험은 17K~172K 규모의 작은 네트워크에 국한되며, 언어 모델 실험은 모두 코드와 실행을 동원한다. 저자는 서로 다른 기법을 하나의 심오한 능력처럼 포장한 점을 비판한다.
‘원시 가중치만 보고’라는 설정은 실험 1, 2, 4에서만, 17K~172K 개의 가중치를 가진 네트워크에서만 등장한다.
HN 토론
178- x313
저는 이 분야(기계적 해석 연구)에서 일하고 있는데, 동의합니다. 원문 글은 분명히 오해를 부릅니다. 연구에서 과장이 좀 있는 건 정상이지만 이건 좀 심하네요.
첫째, 핵심 결과는 Qwen을 수학에서 더 잘하게 만드는 것과 아무 관련이 없고, 그저 추론 루프를 줄이는 것뿐입니다.
추론 루프는 간단한 문제입니다. 모델이 </think> 토큰(추론을 닫는 토큰)을 너무 낮은 확률로 생성하는 거죠. 이건 LLM의 여러 구성 요소에 벡터를 더하는 간단한 스티어링 접근법으로 고칠 수 있습니다(https://arxiv.org/abs/2503.22048, https://arxiv.org/abs/2506.18167 등). Astra가 벡터를 식별하는 데 사용한 방법은 인간이 쓰는 표준 절차(대조 분석)입니다. 이런 스티어링 벡터 생성은 사실상 인간 연구자에게는 표준적인 "입문 수준 해석 프로젝트"입니다.
코딩할 줄 알고 LLM 내부를 이해한다면, 이건 4~8시간이면 직접 할 수 있습니다. SWE로 치면 디버거로 바이너리 패칭을 하는 것과 같죠. 프런티어 모델이 이걸 할 수 있다는 건 멋진 일이지만, 인간도 문제없이 할 수 있으니 예상 밖의 일은 아닙니다.
- bushido
제 경우를 말하자면, 저는 학습과 관련된 많은 개념을 알고 있었지만 아주 최근까지는 거리를 두고 있었습니다.
몇 주 전에, 저는 더 작은 모델이 제 git 커밋 메시지에 대한 특정 기준을 잘 따르게 만들 수 있다는 가설을 세웠습니다. 그 기준은 오늘날 대부분의 LLM에서 끌어내기 어려운 것들이죠.
지난 4~5주를 전통적인 학습에 쏟았습니다. 많은 영역에서 개선되었지만 제가 쓰기에는 충분하지 않았습니다.
어제, 이 글의 작성자가 비판하는 그 글이 저에게 충분한 깨달음을 주어서, 제가 보던 문제들이 학습을 거치지 않고 더 큰 LLM이 가중치를 직접 바꾸게 함으로써 해결될 수도 있겠다는 생각이 들었습니다.
지난 12시간 정도 동안 2주 이상보다 더 많은 진전을 이뤘습니다. 제가 가진 마지막 성능 좋은 체크포인트 중 하나(전체 파인튜닝 + 결정 헤드/LoRA 변경 등)를 사용해서 모델이 어떤 레이어든 자유롭게 바꾸도록 했습니다.
모델의 마지막 두 동작은 (a) 헤드 행렬에서 16개의 참가자 순서 방향을 제거했는데, 이는 한 유형의 추론을 개선하고 다른 유형은 악화시켰고, (b) 그중 하나를 복원해서 핵심 개선은 유지한 채 악화를 되돌렸습니다.
요컨대, 이건 수년, 어쩌면 수십 년간 학습 분야에 있던 사람들에게는 알려진 것일 수도 있지만, 많은 우리에게는 새로운 것입니다. 그리고 우리는 이에 흥분하고 있습니다.
- phoghed
원문 글을 읽고 이 글의 작성자가 지금 요약하고 있는 부분을 명시적으로 설명하는 섹션에 도달했을 때, 그게 그렇게 명백하지 않았나요?
물론 제목과 맨 위의 요약만 읽었다면 전체 그림 없이 떠나게 되겠지만요.
제 생각엔 이게 더 나은 반응입니다: https://news.ycombinator.com/item?id=50344861
- neom
Astra가 Qwen을 편집하는 이 모든 것의 상당 부분은 이미 비교적 잘 알려진 기법의 재탕인 것 같습니다. 예를 들어 https://arxiv.org/html/2406.11717v3 이고, 개념적으로는 https://arxiv.org/abs/2512.05648 과 유사합니다(다만 이건 학습 중에 이루어지는 걸로 기억합니다).
- tidbeck
'Astra가 가중치를 읽고 써서 Qwen을 개선할 수 있다'는 Hacker News 글(https://news.ycombinator.com/item?id=50341174)에 @yurimo 님이 정말 좋은 댓글을 남기셨습니다.
- GavinAnderegg
저는 여전히 "가중치 공간 프로그래밍"이라는 아이디어에 감명받았습니다. 아마 그걸 읽기 전까지는 LLM이 가중치를 이해하거나 성공적으로 수정할 수 있다는 걸 전혀 몰랐기 때문일 겁니다. 하지만 원문에서 제공된 예시들은 정말 눈을 뜨게 했습니다. 물론 인간도 가중치를 수정하는 도구를 만들 수 있지만, 이 글의 작성자도 그것이 어렵다는 데 동의합니다. Astra가 가중치와 상호작용한 예시들은 여전히 새롭고, Astra는 놀라울 정도로 쉽게 처리하는 것처럼 보였습니다.
- vkgcr
하지만 이론적으로, 연구소들이 "가중치 공간 프로그래밍" 작업에 대해 모델을 RL로 훈련시켜 더 잘하게 만드는 걸 막을 수 있는 게 뭐가 있을까요? 어쩌면 우리는 이제 시작일 뿐일지도 모릅니다. 마치 2년 전 코딩 에이전트가 형편없었던 것처럼요.
여전히 RSI, 증류, 파인튜닝, 그리고 다른 많은 작업에 유망한 접근법으로 보입니다.
- kenjackson
원문 글은 이 글이 하는 것보다 그들이 무엇을 왜 했는지 더 잘 설명합니다. 이 글은 원문에 없던 것을 제게 가르쳐주지 않았습니다.