OpenAI의 GPT-6 Astra, ARC-AGI-3에서 인간보다 효율적으로 문제 해결
OpenAI's GPT-6 Astra on ARC-AGI-3
ARC Prize가 공개한 결과에 따르면, OpenAI의 GPT-6 Astra가 ARC-AGI-3 Semi-Private에서 최고 성능을 기록했습니다. Provider Adapter harness를 사용하면 99.9%의 점수(비용 $19K)를 달성했으며, Standard harness에서는 62.7%($26K)를 기록했습니다. 특히 주목할 점은 Astra가 인간보다 행동 효율성이 뛰어나다는 것입니다. 테스트한 레벨의 96%에서 인간 중앙값보다 적은 행동으로 문제를 해결했으며, 평균적으로 51.7% 더 적은 행동을 사용했습니다. Astra는 또한 낯선 환경을 압축적인 기호 모델로 변환하는 능력을 보여주었고, 자체 도메인 특화 언어 표기법을 개발하여 게임 상태와 계획을 추적했습니다. ARC Prize는 이러한 결과가 AGI로 가는 중요한 진전이지만, 아직 AGI를 증명하는 것은 아니라고 밝혔습니다.
Astra는 낯선 환경을 압축적인 기호 세계 모델로 전환하는 능력을 보여주었습니다. 게임 메커니즘을 논리 규칙으로 표현하고, 상태를 추적하고 행동을 계획하기 위해 자체 도메인 특화 언어 축약형을 개발했습니다.
HN 토론
144- at1as
저는 에르되시 문제를 벤치마크로 사용하는 것을 좋아합니다. 모델들이 계속해서 문제를 풀고 있지만, 쉬운 문제들이 이미 해결된 지금은 그 비율이 꽤 더딥니다.
https://epoch.ai/latest/announcing-frontiermath-erdos에서 인용:
> 오직 GPT-6 Astra만이 무언가를 풀었습니다: 68개 문제 중 2개를 풀었습니다. 문제 74를 반례로 찾아 반증했고, 비용은 $218과 15시간의 작업 시간이 들었으며, 문제 126을 증명하는 데는 $247과 16시간이 들었습니다.
> 모든 시도에서 GPT-6 Astra는 68개 문제 중 5개를 최소 한 번 이상 풀었습니다: 위의 두 문제에 더해, 반증한 문제 1, 증명한 문제 548과 571입니다. 나머지 문제들은 대부분 총 2~5회 시도되었고(총 172회), 그중 어떤 것도 풀리지 않았습니다. 이 다섯 가지 해답에 도달하는 데 모든 시도에서 $220,000 이상의 컴퓨팅 비용이 들었으며, 이는 벤치마크 실행 자체의 약 $20,000와 비교됩니다.
이는 실제 능력 향상을 의미하지만, 모델들이 계속 개선해야만 잡을 수 있는 매우 긴 꼬리가 여전히 남아 있습니다.
- malfist
뱀 같은 퍼즐 게임을 최소 이동 횟수로 푸는 것이 정말 지능을 정의하는 것일까요?
- Betelbuddy
"비용 비교를 위해, 통제된 테스트에서 인간 참가자들은 90분 세션당 $115와 게임 완료당 $5를 받았습니다. 참가자들은 세션당 약 9개의 게임을 시도했으며, 보너스 전에 게임당 약 $12.78였습니다.
이 비용의 대부분은 참가자의 시간과 테스트에 응할 의향에 대한 대가이며, 뇌가 사용하는 에너지(인공지능과 비교하기에 더 가까운 지표)에 대한 대가는 아닙니다. 뇌의 에너지만을 전기로 계산하면 추정치는 세션당 약 0.6센트, 게임당 0.067센트로 떨어집니다."
글쎄요, 여러분 모두는 모르겠지만, 저는 육체 기반 인간을 축하하고 있습니다...
- modeless
퍼즐당 $360입니다. 사람을 테스트했을 때 퍼즐당 약 10분이 걸렸습니다. 가격 대비 성능이 지금까지와 같은 비율로 계속 하락한다면, 이 비용은 2년 안에 미국 최저 임금 인간보다 낮아질 것입니다. 필리핀 최저 임금의 3분의 1 수준이 될 것입니다.
- an0malous
OpenAI는 ARC-AGI-3 테스트를 이전에 실행하여 특정 테스트 세트에 맞춤형 하네스를 구축할 수 있었나요? 표준 하네스를 사용하더라도, 문제를 미리 알았다면 특정 테스트를 해결하도록 모델을 지도 강화 학습으로 훈련시킬 수 있었을 것입니다.
- fastball
Astra 해커 집단이 arcprize.org의 서버를 해킹하여 비공개 평가 세트를 유출하여 그 99%를 달성하지 않았다고 확신하나요?
- dwohnitmok
> Astra의 진전은 어떤 AI 능력이 도달 불가능한지, 어떤 질문이 여전히 열려 있는지 명확히 하는 데 도움이 됩니다.
좋습니다. 하지만 이 기사 전체가 어떤 AI 능력이 도달 불가능한지 전혀 설명하지 않았다고 생각합니다. 제가 뭔가 놓친 것이 있나요? "아, ARC-AGI-3에서 여전히 더 초인간적이 될 수 있겠구나"라는 것 외에는요?
- 6thbit
즉시 추론/추론 없음이 매우 잘 수행되었습니다.
none 35.2%, $49,791 96.7%, $23,457
표준 하네스에서 35.2%는 Opus 5의 high 설정보다 높습니다.