MIT의 AI가 8시간 걸려 찾은 가중치 편집, 선형계획법으로 1분 만에 해냈다
Can a Linear Program Do Weight-Space Programming?
MIT CSAIL이 공개한 '가중치 공간 프로그래밍' 실험에서 GPT-6 Astra는 Qwen3.5-0.8B의 가중치 0.016%만 바꿔 MATH-500 정확도를 7.9%에서 48.1%로 끌어올렸다. 그런데 그 편집의 핵심은 결국 선형계획법을 8시간에 걸쳐 시행착오로 푸는 일이었다. 저자는 같은 문제를 LP로 정식화해 1분 만에 풀었고, 8배 적은 가중치를 바꾸고도 동일한 성능을 얻었다. 나아가 이 수정이 사실상 고정된 steering vector 하나로 대체된다는 점도 보여준다.
Astra는 8시간 동안 시행착오로 선형계획법을 풀고 있었던 것이다. LP를 두어 번 푸는 데는 각각 1분 정도 걸리며, 같은 일을 8배 적은 가중치 변경으로 해낸다.
HN 토론
33- whatever1
전통적인 수리 계획법이 RL 루프를 대체하거나 덮어쓰게 될 것이다.
우리는 이제 출력에 엄격한 제약을 강제해야 하는 지점에 도달했다.
목표가 여러 개라면 보상/페널티로는 결코 해낼 수 없다.
- jsw97
저자가 말하려는 게 아마 이거일 수도 있겠지만, LP 솔버가 가중치 편집에 유용한 도구라면, Astra가 이 방법론에 접근할 수 있게 되면 가중치 편집을 더 효과적으로 할 수 있을지도 모른다.
여기서의 해석은 LP가 Astra의 일을 할 수 있다는 정도가 아니다 — 결국 Astra 프롬프트는 "가중치를 바꿔서 Qwen의 수학 실력을 향상시켜라" 같은 것이었다. 그보다는, 어느 정도의 가이드(이 동작은 제거하고, 저 동작은 유지하라, 이를 선형 제약으로 표현하는 식)가 주어지면 솔버가 Astra의 시행착오보다 훨씬 효율적이라는 것이다. 즉 본질적으로 솔버는 시간 잡아먹는 것들을 일거에 잘라내고 Astra의 의도를 더 즉각적으로 표현하는 수단이 될 수 있다. 그리고 나면 아마 Astra가 그 위에서 반복해 더 나은 해로 나아갈 수 있을 것이다.
여기서 LP 솔버를 쓴다는 건 정말 멋진 통찰이다.
- rbnafo
아주 흥미로운 분석이다. LP가 부활해서 최적화하는 걸 보게 되면 좋겠다. 나는 항상 우리가 많은 분야에서 LLM에 지나치게 매달리고 수치 해석을 꺼린 나머지, 그저 차선의 해에 안주해 왔다는 인상을 받는다.
- dansitu
좋은 분석이다. 이게 이렇게 단순하다는 건, 이것이 학습 중에 정규화를 통해 이뤄져야 한다는 뜻이다.
- daemonk
가중치 공간 프로그래밍과 역전파 같은 것의 차이가 정확히 뭘까? 내 추측으로는 AI가 가중치에 대해 어떻게든 더 깊이 추론할 수 있고, 역전파의 단순한 피드백보다 더 많은 파라미터를 고려할 수 있다는 것 같다?