AI 연구자들, 재귀적 자기 개선이 얼마나 가까운지 두고 격론
AI researchers debate how close we are to recursive self-improvement
Dwarkesh Patel의 팟캐스트에서 John Schulman, Beren Millidge, Charlie O’Neill이 2036년까지 초지능이 등장하지 않을 가장 가능성 높은 기술적 이유를 논한다. Millidge는 sim-to-real 격차를, Schulman은 반복되는 과대평가 주기를, O’Neill은 현재 패러다임의 점근적 한계를 지적한다. 이들은 AI가 인간 연구를 지배하는 시점이 생각보다 멀 수 있다고 본다.
만약 그것이 또 하나의 불연속성을 필요로 한다면, 현재의 RL 환경으로 LLM을 훈련하는 방식—심지어 RSI를 목표로 한 RL 환경이라도—이 그 불연속성을 발견할 수 있을지 확신할 수 없다. 그렇지 않다면 우리는 아마 이 점근 곡선에 도달하게 될 것이다.
HN 토론
116- bretpiatt
제가 경험하는 바로는, 국소적 최댓값을 찾을 수 있는 재귀적 자기 개선은 이미 존재합니다. 하지만 진정한 최적값을 찾아내는, 가이드 없는 RSI에 대한 강력한 증거는 아직 못 봤습니다.
- reilly3000
AI에 관한 글을 너무 많이 스크롤해서 아주 개인화된, 로컬, 오프라인 RSI를 개발했습니다. 주로 오른쪽 엄지손가락에 있죠.
- killbot5000
이 맥락에서 "개선"이란 걸 누가 정의해 줄 수 있나요? 그렇지 않으면 그냥 유행어처럼 느껴집니다.
- anoplus
AI는 예외 없이 모든 인간을 건강하고 행복하고 안전하게 만드는 쪽으로 최적화되어야 합니다.
- stevebmark
최전선 모델들을 써 본 뒤에는, 왜 이것이 AGI로 가는 길이라고 생각하는 사람이 있는지 이해하기 어렵습니다. 자기 개선 모델은 아마도 제한된 능력과 수익을 가질 가능성이 큽니다. 더 일반적인 자기 개선을 가능하게 하는 돌파구가 있을 수는 있지만, 현재 최전선 모델의 상태는 그게 아닙니다.
- carabiner
John Carmack의 AGI 작업이 어떻게 진행되고 있는지 아는 사람 있나요?
- preommr
말이 중요하지 않은데 이런 논의가 무슨 의미가 있나요?
AGI가 벌써 몇 번이나 선언됐나요? 예를 들어 Jensen Huang 같은 사람들은 Astra를 AGI라고 불렀습니다.
목표는 계속 옮겨지고, 모두가 허슬하고, 거짓말하고, 새로운 유행어를 만들고, 정신적 체조를 하고, 그냥 다 지칩니다.
그냥 결과를 보여주세요, 그리고 증명은 푸딩에 있게 하세요.
- eugene3306
좋아요, 이제 AI가 시를 쓰거나 노래를 작곡할 수 있습니다.
하지만 AI가 Terminal Bench 5.0이나 GDPval 2027을 구축할 수 있을까요?
이게 없으면 RSI로 가는 길은 없습니다.