AI가 자율 연구개발을 잘한다는 말, 직관적으로 믿기 어렵다
I struggle to believe that AI R&D is ingenious
Arjun Panickssery는 Scrabble 엔진, Ultimate Tic-Tac-Toe 봇, 철학 연구 등 여러 사이드 프로젝트를 진행하며 모델의 판단력이 기본적인 수준에서 매우 부실하다고 관찰했다. 중요한 논문을 골라내지 못하고, 정보 가치가 없는 실험을 하며, 사소한 방향으로 계속 빠져든다. 다만 빠른 피드백이 있는 힐클라이밍 과제에서는 프롬프트를 반복해 성과를 크게 끌어올릴 수 있었다. 랩 내부 모델이 공개 모델보다 훨씬 뛰어나다는 주장도 나온다.
실험을 빠르게 구현하는 능력이 뛰어나기 때문에, 현재 모델들이 우리 회사(퀀트 헤지펀드)의 연구개발 생산성을 전체적으로 2배 높이고 있을 가능성은 여전히 있다고 본다.
HN 토론
170- intenex
프런티어 랩들이 내부적으로 쓰는 모델이 우리가 가진 공개 모델보다 몇 광년은 앞서 있다는 사실을 아무도 언급하지 않는 게 의외다. 최신 METR 보고서에 따르면 우리는 세 세대 뒤처져 있고, 7월에 나온 미공개 모델도 아직 있다!
그리고 그들이 측정한 최신 모델은, 지금 그들이 작업 중인 최신 모델보다 이미 뒤처진 것임에도, 능력 면에서 말도 안 되는 도약을 보여준다: https://www.reddit.com/r/singularity/comments/1xorf5c/metr_r...
이건 대략적인 계산으로 경험적으로 검증하기도 쉽다. 약 2개월 전에 OpenAI의 내부 모델이 Navier-Stokes를 풀었을 때는 10,000개의 에이전트가 88시간 동안 돌아가야 했고, 총 880,000시간이 걸렸다. 한 달 뒤 UGC 같은 정말 놀라운 결과들을 포함한 722개의 수학 증명을 내놓았을 때는 단일 에이전트가 평균 3시간 만에 그 결과를 얻었다. 물론 결과의 수준이 같지는 않지만, 일부는 정말 말도 안 될 정도다. 그리고 그 300,000배 속도 향상에서 여러 자릿수를 깎아내더라도, 여전히 능력 면에서 엄청난 가속을 얻는 셈이다.
그리고 물론 ETH가 반증되었고, Anthropic은 내부 연구 모델로 이를 해내는 데 단 1,400만 개의 출력 토큰이 들었다고 주장했다.
간단히 말해, 프런티어 랩들이 R&D를 자율적으로 가속하는 데 쓰면서 RSI가 임박했다고 믿게 만드는 모델들은, 우리에게 공개된 구식 모델들과는 전혀 다르게 생겼다. 오늘날의 모델들이 […]를 할 것 같지 않다고 말하는 것은
- mangecoeur
LLM은 독창적이거나 혁신적이기는 거리가 멀다. 오늘날 그것들이 당신을 놀라게 할 수 있는 주된 방식은 당신에게 새로운 정보를 끌어오는 것뿐이다. 내가 가끔 그것들이 내놓는 알고리즘에 감탄하는 건 단지 내가 컴퓨터 과학을 정식으로 배운 적이 없기 때문이다. 하지만 그것이 내 전문 영역을 건드릴 때면 아주 기초적인 수준이라고 느낀다. 그리고 시스템 아키텍처 같은 더 큰 그림의 문제에서는 형편없다. 태생적으로 전체 시스템이 어떻게 맞물리는지에 대한 '비전'이 없다.
- ainch
이것은 내 직감과도 맞아떨어진다. ML 학습 파이프라인이나 연구 프로젝트를 디버깅하려 할 때, 내가 받은 LLM의 제안은 거의 항상 기술적으로는 맞지만, 실제로는 중요하지 않은 작고 지루한 세부 사항들을 지적한다. 내 경험상 그것들은 나무를 보지 못하고 숲을 놓친다.
계속된 스케일링이 이것을 완전히 해결할 것이라고는 비관적이다. 하지만 그동안에도, 원문 댓글에서 누군가 지적했듯이, 잡다한 일들(진단 도구 만들기, 시각화 생성, 실험 스캐폴딩)을 해결해 줌으로써 그것들은 여전히 극히 유용한 연구 조교임을 입증하고 있다.
- nfw2
나도 AI 에이전트를 오랜 시간 동안 알아서 놔두고 거기서 큰 생산적 이득을 얻기가 매우 어렵다고 느꼈다.
프런티어 랩들이 자율 연구가 가능할 정도로 훨씬 앞선 내부 모델을 가지고 있을 가능성도 있겠지만, 그게 전부인지는 모르겠다.
내 생각에 이 모델들은 어떤 가상의 디지털 두뇌에서 매우 유능하고 중요한 부분 같지만, 그것만으로는 유용해지기 위해 필요한 모든 기능을 갖추지 못한 것 같다. 마치 심각한 ADHD와 단기 기억 상실을 가진 천재처럼.
품질이 명확하게 객관적이지 않은 일에서는 좋은 결과를 얻기 위해 매우 의도적인 컨텍스트 관리가 필요하다. 컨텍스트 크기가 커지면 성능이 떨어진다. 작업 수가 늘어나면 성능이 떨어진다. 주관적 기준에 기반한 독립적 결정의 수가 늘어나면 성능이 떨어진다.
모든 결정이 한 번에 하나씩, 필요한 컨텍스트만 가지고 집중해서 내려지도록 보장하는 하네스를 만들 수 있다면 일은 잘 돌아간다. 하지만 그런 하네스를 만드는 것은 여전히 어렵고 많은 노력이 들며, 에이전트들은 그것을 도와줄 방법을 전혀 모르는 것 같다.
- rcxdude
작은 규모에서는 훨씬 낫고 큰 규모에서는 그렇지 않은 것 같다. 판단력이 의심스럽다는 점에 동의하며, 대규모 군집을 만드는 것에 관한 모든 보고서는 단일 에이전트, 특히 인간이 루프에 있는 단일 에이전트의 성능 대비 엄청나게 체감하는 수익을 기대하고 있다는 것을 시사하는 것 같다.
- p1necone
한편으로는, 그래, 동의한다.
다른 한편으로는, AI를 써서 모든 잡무와 실험, 그리고 이미 많이 닦여진 영역을 훑게 하면 내가 그 거인의 어깨 가까이까지 기어올라갈 수 있고, 정말 중요한 질문에 답하는 데 스스로 훨씬 적은 노력을 들여 그 위에 올라설 수 있다.
(이게 자화자찬처럼 들리려는 건 아니다. 내가 올라선 거인의 어깨는 그리 높지 않고, 그들에게는 아마 더 큰 형제자매가 있을 테지만, 그 관용구가 쓰기에 너무 잘 맞아서 그냥 넘길 수 없었다)
- skew-aberration
얼마 전 비-AI ML 모델 몇 개를 개선하는 데 Fabel을 썼을 때 비슷한 결과를 얻었다. 내가 내놓은 제안은 완벽하게 구현할 수 있었지만, 스스로는 형편없는 제안을 하거나, 엉뚱한 것에 주의를 빼앗기거나, 멍청한 가정을 하거나, 큰 그림을 보지 못하는 등의 이유로 자율적으로는 일할 수 없었다.
하지만 에이전트 100개나 1000개를 쓸 여유만 있다면 이 문제들은 꽤 쉽게 풀릴 것 같다. 탐색하고 경쟁하고 스스로 오류를 해결하게 놔두면 된다.
실용적인 차원에서는, 요즘 에이전트를 계속 돌려두고 백그라운드에서 아이디어를 테스트함으로써 '보너스' R&D 작업을 훨씬 더 많이 하고 있다.
- MiliasGeiger
> 이 모든 경우에, 모델의 판단력은 기본적인 수준에서 그냥 매우 형편없다.
이 문장이 나에게 강하게 와닿았다. R&D에서뿐 아니라 모델과의 모든 상호작용에서 그렇다. Fable부터 Sonnet까지 모두, 훈련 중에 이미 본 답이 아닌 한, 판단력이 전혀 없다는 것을 아주 명백히 보여준다.