Astra, 가중치를 직접 읽고 고쳐 Qwen의 수학 성적을 7.9%에서 48.1%로 끌어올리다
Astra can read and write weights to improve Qwen
MIT CSAIL 연구진은 GPT-6 Astra가 신경망의 원시 가중치를 자연어만으로 읽고 쓸 수 있음을 보였다. Astra는 가중치만 보고 네트워크가 어떤 게임을 하도록 훈련됐는지 맞혔고, 그래디언트 없이 Qwen3.5-0.8B의 가중치 0.016%를 편집해 추론 루프를 고쳤다. 그 결과 MATH-500 점수가 7.9%에서 48.1%로 뛰었고 IFEval도 3배 올랐다. 저자들은 이를 Weight-Space Programming이라 부른다.
우리는 최전선 LLM이 신경망 가중치를 기본적으로 읽고 쓰는 데 인간이나 기존 알고리즘에서 기대할 수 있는 수준을 훨씬 뛰어넘을 만큼 놀랍도록 능숙하다는 것을 발견했다.
HN 토론
604- vessenes
이건 미친 짓이다.
Astra는 도구 없이도 작은 네트워크가 어떤 게임으로 훈련됐는지 판별할 수 있고, 네트워크의 가중치를 직접 편집해 결과를 개선할 수 있으며, 작은 qwen 모델을 손수 편집해 수학 실력을 약 5배 향상시킬 수 있다.
나는 충격을 받았다. 오늘 아침만 해도 LLM이 자신의 가중치를 인간이 뉴런을 이해하는 것보다 덜 이해하는지, 같은지, 더 잘 이해하는지 물었다면 정의에 따라 "같거나 덜하다"고 답했을 것이다.
인간은 뇌를 편집해 수학을 더 잘하게 만들 수 없다. 이건 정말, 정말 놀랍고 극도로 흥미롭다. 이게 상당히 많은 해석 이론과 이 네트워크에서 일어나는 일에 대한 철학적 견해를 뒤흔들 것 같다.
- xg15
자, 이제 시작이다...
다른 사람들이 말했듯이, 여전히 완전히 미친 일이지만, 나는 그것이 완전히 청천벽력처럼 놀랍지는 않다. (현재 세대) LLM의 반복되는 능력 중 하나는 인간이 같은 수준의 전문성을 갖추는 데 몇 달 또는 몇 년이 걸릴 매우 복잡한 시스템을 빠르게 파악하는 것 같다.
코딩 에이전트가 방대한 레거시 코드베이스를 몇 초 만에 "이해"하고 설명하는 방식에서 이를 볼 수 있다.
또한 독점 IoT 프로토콜이나 컴퓨터 게임을 리버스 엔지니어링하는 데 이를 사용하는 프로젝트에서도 볼 수 있다.
하지만 그 모든 시스템은 어떤 구조가 리버스 엔지니어링되어야 하는지에 대한 상세한 지식이 있는 시스템이었다.
모델이 이 능력을 기본 구조를 모르는 다른 시스템으로 전이할 수 있다면, 앞으로 훨씬 더 많은 미친 일이 벌어질 것이라고 생각한다. (단백질 상호작용 네트워크? DNA 서열? 생태계 상호작용? 동물 언어?)
가중치에 관해서는, 모델이 특정 가중치나 방향 뒤의 의미를 정말로 분석할 수 있다면, 텍스트 설명을 제공하거나 "수작업" 가중치를 보다 실용적으로 만들 도구 설계를 도울 수 있기를 바란다.
- NitpickLawyer
> 결과적으로 Astra는 작은 추론 모델의 흔한 실패인 루프 [13]를 발견하고 수정한다. 기본 모델이 루프에 빠지면 동일한 텍스트를 반복하고 좀처럼 답에 도달하지 못한다(첫 96개 연습 답변 중 85개가 32,768 토큰 한도에 도달). Astra는 루프를 15층과 19층의 MLP가 쓴 하나의 방향으로 추적하고, 각 층의 64개 출력 열(131,072개 가중치)에서 그 방향을 뺐다. 이는 모델 가중치에서 단일 방향을 삭제해 행동을 제거하는 것과 매우 유사하다.
하! 이거 멋지다. 개선된 점(아마도 오래되고 과훈련된 벤치마크)이 아니라, 모델이 이 "루프 버그"에 대한 단일 방향을 찾아냈다는 게 정말 멋지다. 다양한 주제에서 다른 "단일 방향"을 찾는 데도 비슷한 일을 할 수 있을 것 같다(가드레일이 허용한다면). 특히 mechinterp 사람들에게는 정말 정말 멋진 일이다.
- vanyle
나는 이것이 창발적 능력이라고 생각하지 않는다. Astra는 OpenAI가 재귀적 자기 개선에 도달하려는 시도로 신경망 가중치 데이터에 대해 훈련된 것 같다.
초기 GPT 모델에서도 비슷한 일이 일어났는데, 훈련 데이터에 표준 표기법의 체스 게임이 많아서 프롬프트 형식만 맞으면 체스를 매우 잘했다.
이 RSI 시도가 성공했는지는 두고 보자.
- _bobm
나는 이 하위 분야가 오래전부터 있었다고 생각한다. 추론 중 동적 가중치 생성, 네트워크 아키텍처로부터 가중치 예측, 이전에 훈련된 네트워크 매개변수 분포 학습 등 몇 가지 키워드만 예로 들어도 관련 논문이 작은 섹션을 이룬다:
Parameter Prediction for Unseen Deep Architectures [1]
NeuroGen: Neural Network Parameter Generation via Large Language Models [2]
Diffusion-Based Neural Network Weights Generation [3]
나에게 중요한 것은 Astra가 그것을 할 수 있다는 점이다. 훈련을 받아서 그런지는 모르겠다.
이 모든 것이 내 기준에서는 여전히 미친 일이다. 그리고 오늘 밤 어떻게 편히 잘 수 있을지 아직도 모르겠다.
[1] https://arxiv.org/abs/2110.13100
- jsenn
이건 두 개의 별개 결과를 약간 오해의 소지가 있게 혼합한 것 같다.
> 우리는 최전선 LLM이 신경망 가중치를 기본적으로 읽고 쓰는 데 놀라울 정도로 능숙하다는 것을 발견했다.
이 주장은 Astra가 작은(20k) 특수 목적 모델의 가중치 텍스트 표현을 받아 그 모델이 무엇을 하는지 파악하고, 어떤 경우에는 도구 호출 없이 가중치를 읽기만 해서 RL이 할 수 있는 것 이상으로 개선할 수 있다는 능력으로 뒷받침된다. 그들은 이것을 "가중치 공간 프로그래밍"이라고 부른다.
> 마찬가지로, 그라디언트 없이 Qwen3.5-0.8B를 수학에서 더 잘하게 해달라는 요청에 Astra는 Qwen 자체 모델 카드에서 경고하는 추론 루프를 유발하는 가중치 문제를 식별하고, 가중치의 0.016%를 기본적으로 편집하여 수정한다.
여기서는 도구 호출을 사용했고, 이 작은 Qwen 모델의 추론 루프를 식별하고 수정하기 위해 표준 스티어링 벡터 기법을 사용한 것으로 보인다. 이는 이전 결과와 그다지 관련이 없어 보인다.
- futureshock
나는 이것이 완전히 충격적이라고 생각한다. 확실히 회의적이다. 이는 내가 이 모델들이 작동하는 방식에 대해 이해한 것과 맞지 않는다. 직접 가중치 편집에 대한 훈련 데이터가 정말로 모델에게 이 기술을 줄 만큼 충분한가? 아마도 OpenAI가 ML 연구에 대한 훈련 데이터를 많이 만들어왔다는 증거일 수 있다. 그런데 그것이 공개 모델에 들어갔다는 것이 놀랍다.
- Imnimo
전반적으로 작은 신경망의 가중치를 보고 게임을 추측할 수 있다는 것에 그렇게 놀라지 않는다. 예를 들어 인간도 mnist로 훈련된 MLP의 가중치를 보면 같은 일을 할 수 있다. 그 단순한 구조에서는 입력층을 보고 특징이 관심 객체의 공간적 위치에 해당한다는 것을 쉽게 알 수 있다.
더 큰 모델에서도 할 수 있다는 점에 훨씬 더 놀란다. 세부 사항을 보면 가중치를 눈으로만 살피는 것이 아니라 순방향 패스를 실행하고 제한된 실험을 할 자유가 훨씬 더 많이 주어진 것 같다.
- GodelNumbering
나는 Astra를 사용해 자연어를 bash 명령으로 바꾸는 작은 모델[1][2]로 이것을 재현해 보았지만 순 개선은 없었다. 1,920개의 가중치를 편집하니 일부 grep 실수는 고쳐졌지만 다른 명령은 망가졌다. 행동을 모델의 특정 영역으로 먼저 정확히 짚어낼 수 있을 때 개선하기가 더 쉽다고 생각한다.
- belval
사람들은 Sol 6.1에 대해 이야기해 왔고 코딩에서는 동등할지 모르지만, Astra 6은 거의 모든 다른 면에서 여전히 훨씬 앞서 있다.
나는 Astra 에이전트에게 3D 모델을 만들게 하고 내 3D 프린터에 직접 접근 권한을 주었다. 디자인 품질은 Sol이 나를 위해 만들어준 것보다 훨씬 좋다. Astra가 단순히 더 큰 모델이 아니라 약간 다른 아키텍처/인코더라고 생각할 정도다.
감을 잡기 위한 사진: https://github.com/Belval/crossflow-fan/blob/main/renders/ca.... 이것은 눈에 띄는 결함 없이 출력되었다(예, 팬이 공기를 분사한다).