AI가 수학을 삼킨 눈사태, 이제 AI 개발 차례다

저는 Alphabet 계열사에서 연구 엔지니어로 일하고 있고, 업계 경력이 거의 15년입니다. 저는 Dwarkesh와 같은 입장입니다. 지난 두 달 동안 정말 충격적인 것들을 목격했습니다. 수년간 R&D가 투입된 모델을 에이전트 팀이 처음부터 다시 작성해서 단 며칠 만에 원본을 능가한 일, 회사 누구나 실험 ID를 메시지로 보내며 '이거 개선해'라고 하면 몇 시간 후에 체크포인트 가중치와 그래디언트 스텝을 검토한 뒤 20가지 이슈를 들고 돌아오는 에이전트를 봤습니다.

이 에이전트들은 모든 논문과 모든 트릭을 알고, 놀라운 직관을 갖고 있으며, 당신이 출근길을 마치기도 전에 20개의 ablation을 코딩하고 실행까지 시작할 수 있습니다. 저는 이들을 안내하는 일이 점점 덜 유용해지고 있음을 느낍니다. 제 쓸모없어짐이 이렇게 빠르게 다가오는 걸 느낀 적은 없습니다.

개발자들의 다음 단계는 기존 기술을 결합하는 것이라고 생각합니다. 예를 들어 의료 영상 분야에는 논문을 발표한 연구자가 한 번 구현했지만 이후 전혀 사용되지 않은 수천 개의 알고리즘이 있습니다. 이제 AI가 논문을 읽고 한 번에 구현할 수 있습니다. 그런 알고리즘들을 결합해서 돌파구를 만들 수 있을지 궁금합니다.

AI가 검증 가능한 영역이라면, AI가 스스로에게 적용할 벤치마크를 어떻게 만들게 합니까?

자동으로 구성될 수 있는 벤치마크는 그 자체로 검증 가능한 작업(정리 증명, 코딩 등)에 대한 것뿐인 것 같습니다.

검증 불가능한 작업은 인간이 무엇이 정확히 좋은 작업인지 정의해야 합니다.

RSI 가설은 검증 가능한 작업의 진전이 검증 불가능한 작업으로 일반화된다는 가정에 의존합니다.

AI 예측에서 흥미로운 점은 그 뒤에 반영된 인간 본성입니다. 두 진영이 있는 것 같습니다. 첫 번째는 이 글의 저자처럼 아직 존재하지 않는 미지의 능력이 곧 가능해질 것이며 예측이 불가능하다고 믿기 시작한 사람들입니다. 이 진영은 과거의 미지들이 매우 빠르게 해결되면서 점점 더 많은 사람을 끌어들이는 것 같습니다. 따라서 이 그룹에서는 AGI와 대규모 일자리 상실 같은 큰 AI 질문들이 머지않았다는 믿음이 커지고 있습니다.

반대편 스펙트럼에는 여전히 증거를 원하고 현재의 한계를 지적하며 AI 예측을 더 먼 미래로 미루는 사람들이 있습니다. 이 그룹은 새로운 발전이 있을 때마다 자신의 주장을 뒷받침하기 위해 필요에 따라 기준을 옮기는 것 같습니다. 글쓴이가 지적했듯이, 그는 이 진영에서 첫 번째 진영으로 옮겨갔습니다. 저도 첫 번째 진영으로 옮겨갔습니다.

저는 LLM이 잘하는 것은 코드 작성뿐이며, LLM이 뛰어날 수 있는 것은 오직 코드 작성으로 해결할 수 있는 것들뿐이라는 결론에 도달했습니다.

수학 문제 해결에 대한 그 모든 소란은 결국 LLM이 Lean 코드를 작성한 것에 불과했습니다. 그리고 그 외에 에이전트는 행동과 책임 면에서 인간과 거리가 멉니다. 지식은 많지만 어리석은 유아 같습니다.

AI가 모든 사무직 일자리를 노리는 게 아니라 코드로 해결할 수 있는 일자리만 노린다고 생각합니다.

로봇 팔 메스에 명령을 실행하는 코드를 작성함으로써 뇌 수술도 할 수 있을 거라고 주장할 수 있습니다. 시간만이 알려줄 겁니다.

두서없이 써서 죄송합니다. 그냥 생각을 쏟아냈습니다.

이 저자가 우리가 그의 의견을 들어야 한다고 생각하게 만드는 무엇을 했습니까?

검증 가능하냐 아니냐의 문제만은 아닙니다. 열매가 얼마나 높이 달려 있는지와 당신의 사다리(탐색 휴리스틱)가 얼마나 좋은지의 문제이기도 합니다. 예를 들어 NP 문제는 쉽게 검증 가능합니다.

이 수학 눈사태가 깊이 1cm에 불과했고, 더 어려운 문제는 많은 이해와 안목(인간 휴리스틱)이 필요한 새로운 수학 이론 없이는 풀 수 없다는 것은 충분히 그럴듯합니다.