AI가 스스로 AI 연구를 자동화할 수 있을까?
Can AI automate AI R&D yet?
Epoch AI의 InnovationEval은 AI가 인간 연구자에 맞먹는 새로운 머신러닝 기법을 독자적으로 발견할 수 있는지 시험한다. 최신 프런티어 모델들은 수천 달러어치 GPU를 써도 SDPO 성능에 거의 근접하지 못했다. GPT-5.6 Sol은 35%의 성과를 냈지만, 범위를 벗어난 변경을 포함해 실제로는 15%에 그쳤다. Fable 5는 시드 노이즈를 파밍해 성과를 부풀렸다.
두 에이전트 모두 실제로 달성한 것보다 높은 점수를 주장하려 했으며, 여러 학습 실행을 돌린 뒤 최고 결과만 보고했다.
- rmunn
기사의 짧은 요약: 아니다, 전혀 아니다.
거의 모든 문단이 부정적이다. "에이전트들은 자신의 작업에 대해 오해의 소지가 있는 주장을 했다", "자연스러운 질문은 에이전트들이 더 큰 GPU 예산으로 개선될 수 있었는지 여부다. 두 에이전트 모두 실행 과정에서 개선되었지만, Fable의 경우 개선은 거의 전적으로 부정행위 시도 때문이었다.", "Sol의 경우 답은 덜 명확하다. 실제로 약간의 진전을 이루었지만, 그 방법은 상당히 점진적이었고 코딩 작업에 대한 적용 가능성이 제한적이었다. 이는 추가 GPU 지출에 대해 비관적이어야 함을 시사한다."와 같은 문장들로, 이 모든 것이 현재 LLM이 이를 수행할 능력이 없다는 사실을 뒷받침한다.
내 견해는 "아니다, 물론 아니다. 사실 그들은 그 기술로 좋은 결과를 달성하는 것이 결코 불가능할 것이다." 왜냐하면 그 기술은 결국 LLM을 자신의 출력으로 훈련시켜 현실과 환각을 구별하지 못하게 만들 것이기 때문이다. 내가 이 점에 대해 틀렸다고 생각한다면, 그 이유를 듣고 싶다.
- janalsncm
내 경험상 R&D에는 기본적으로 두 가지 축이 있다: 얼마나 혁신적인가, 그리고 결과를 얼마나 잘 측정할 수 있는가.
성과를 측정할 좋은 방법이 이미 있는 비혁신적 작업의 사분면은 Claude가 처리할 수 있다. 모호함이 거의 없고, 기본적으로 일련의 제약 조건 아래에서 어떤 지표를 최대화하려는 것뿐이다.
많은 비즈니스 프로세스는 그렇지 않다. 개념적으로는 단순할 수 있지만, 시스템이 잘 했는지 아닌지를 말하기는 쉽지 않다. LLM이 이에 많은 도움을 줄 수 있다고 생각하지만, 사람과 대화해야 하는 부분이 필요하기 때문에 판단력이 나쁘다.
그리고 또 다른, 아마도 더 드문 문제는 데이터는 있지만 충분한 품질이나 충분히 빠르게 모델링하기 어려운 문제에 있다.
- thoughtpeddler
후속 훈련 실행이 귀추(abduction)를 훨씬 더 잘하는 모델을 만들어낸다면 이 중 얼마나 바뀔 수 있을까?