67센트로 ARC-AGI-1 44% 달성: 5090에서 1.5시간 학습한 작은 트랜스포머
44% on ARC-AGI-1 in 67 cents
작은 트랜스포머를 5090 GPU에서 1.5시간 만에 처음부터 학습시켜 ARC-AGI-1 공개 평가에서 44%를 달성했고, 비용은 67센트에 불과하다. 이는 많은 LLM과 TRM/HRM과 동일한 성능이며, ARC-2에서도 7%를 기록했다. 이전 모델보다 빠르고, 좋고, 저렴하며 오픈소스다. 핵심은 3D RoPE와 태스크별 임베딩을 사용한 표현 학습, 출력 토큰만으로 지도 학습, Normuon 옵티마이저, 효율적인 어텐션 커널 등이다. 저자는 샘플 효율성이 AI의 가장 중요한 문제라고 강조하며, 트랜스포머 한계 내에서 65% 달성이 가능하다고 주장한다. 코드와 논의는 GitHub와 Twitter에서 확인할 수 있다.
이 벤치마크는 6년 동안 열려 있었고, 높은 주목을 받았으며, 백만 달러 상금이 걸려 있었는데, 왜 다른 사람들이 이것을 알아내지 못했는지 이해할 수 없다.
HN 토론
161- evilmathkid
안녕하세요! 저자입니다. 이게 지금 HN에 올라와서 놀랐네요. 질문 있으시면 기꺼이 답변드리겠습니다!
이에 대한 몇 가지 맥락:
- 이것은 LLM이 아닙니다. 처음부터 학습된 작은 AR 트랜스포머입니다. 핵심 포인트 중 하나는 LLM 없이도 극도로 복잡한 문제를 다룰 수 있다는 것입니다.
- 이 결과의 v1까지는 이 벤치마크는 LLM이나 그 파인튠(물론 엄청난 학습 비용)으로만 스케일되었습니다. 다른 시도들은 괜찮은 성과를 냈지만 매우 복잡한 아키텍처나 엄청난 양의 학습 컴퓨팅을 사용했습니다. 단순한 AR 트랜스포머가 이렇게 낮은 비용과 적은 학습 샘플로 이 정도 성능을 낼 거라고 아무도 예상하지 못했습니다.
- 샘플 효율성은 오늘날 AI에서 가장 중요한 미해결 문제 중 하나입니다. 제가 이 작업에서 목표로 한 것이 바로 그것입니다. 컴퓨팅/파라미터를 늘려서 SE를 높이는 것은 쉽다는 것을 알고 있기 때문에 비용을 최대한 제한하는 것이 중요했습니다(그래서 OpenAI의 Parameter Golf가 고정 컴퓨팅을 사용했고 Modded NanoGPT가 매우 샘플 효율적인 것으로 간주되는 이유이기도 합니다).
- 성능을 개선할 수 있나요? 네, 하지만 대회가 진행 중이라 말할 수 없습니다.
- 개인적으로 오늘날의 프론티어 모델은 처음부터 학습함으로써 이길 수 있다고 생각합니다. 아직 증명하지는 못했지만요.
- 재미있는 사실: 제가 처음 이걸 올렸을 때(25년 12월) ML에 처음 발을 들인 상태였습니다. 기본적으로 ARC를 ML을 배우는 수단으로 사용했습니다.
- foota
> 실생활에서 모든 문제가 한 번에 주어지는 문제 세트를 보는 경우는 드물다는 데 동의합니다. 설령 그렇더라도(시험처럼) 인간은 보통 한 번에 하나만 시도할 수 있습니다.
재미있다고 생각했던 작은 부분 하나만 꼽자면, 저는 항상 시험을 시작하기 전에 전체 시험을 대충 훑어보곤 했습니다. 제가 가장 접근하기 쉬운 문제를 찾기 위해서도 있었지만, 때로는 나머지 문제를 푸는 데 도움이 되기도 했기 때문입니다.
- foota
> 오프라인 학습/사전 학습 금지. 모델은 제출 후 처음부터 학습해야 함.
이전에는 이것이 불가능하다고 여겨져 규칙이 되었습니다. 제 모델은 이것이 가능함을 보여줍니다.
합성 데이터를 사용할 수 없음을 보장합니다.
이것은 서로 다른 모델 간의 비교를 공정하게 만듭니다. 그렇지 않으면 LLM 같은 모델은 엄청난 양의 오프라인 학습을 사용하여 ARC를 벤치맥스할 수 있습니다(벤치마크가 오래되었기 때문에 ARC와 유사한 데이터셋이 많이 만들어졌습니다).
저는 ML 연구원이 아니므로 YMMV하지만... 모델이 사전 학습 없이 이러한 ARC-AGI 질문에 답하는 법을 어떻게 배울 수 있을까요?
- lackoftactics
좋은 날이네요, 이렇게 출판물로 Kaggle 상위 5위라니. 곧 SF로 가는 비행기를 타게 될 것 같네요.
- bee_rider
제 생각에(?) 당신은 이미 반쯤 아는 사람들을 위해 이 비판을 잘 설명하신 것 같습니다. 하지만 거의 완전히 무지한 우리를 위해 더 쉽게 설명해 주실 수 있나요?
> 평가 퍼즐로 학습하는 것은 부정행위 / "테스트로 학습"이다
> 아니요, 그것은 틀렸습니다. "테스트로 학습"은 구체적으로 테스트 데이터의 레이블을 학습하는 것을 의미합니다. 레이블은 학습되지 않았습니다.
> 또한 ARC는 메타러닝 벤치마크이므로 평가 퍼즐에서 배우는 것이 맞습니다.
> 용어: ARC에는 학습 퍼즐 세트와 평가 퍼즐 세트가 있습니다. 각 퍼즐에는 예시 쌍과 테스트 쌍이 있습니다. 쌍은 입력 그리드 + 출력 그리드로 구성됩니다.
> ARC에서 레이블은 평가 퍼즐의 테스트 쌍 출력 그리드뿐입니다.
> 이 레이블은 학습되지 않았습니다. 숨겨져 있습니다. 원하면 미리 삭제할 수 있습니다.
제가 이해한 바에 따르면 테스트에는 누구나 학습할 수 있다고 동의하는 학습 문제 배치가 함께 제공됩니다. 하지만 평가 문제에도 입력/출력 예시(문제를 정의하는 데 도움이 되는)가 함께 제공되며, 그것으로 학습하는 것이 논란이 될 수 있다는 것인가요? 왜 논란이 될 수 있는지 모르겠지만, 그게 비판인가요?
- xeonax
더 멋진 것은 그의 about me에 자신의 생명을 구했다는 언급이 있다는 것입니다 https://mvakde.github.io/ > 응급 상황에서 스스로를 구했습니다 (의사들은 횡문근융해증이 뭔지 몰랐습니다)
- rappatic
저는 ML 배경이 전혀 없지만 항상 샘플 효율성을 AI의 위대한 미해결 문제로 생각해 왔습니다. 인간은 믿을 수 없을 정도로 좋은 샘플 효율성을 가지고 있습니다. 종종 단 한두 개의 예시만으로도 무언가를 지속적으로 배울 수 있습니다. 이것이 LLM이 우리보다 훨씬, 훨씬 뒤처져 있는 주요 영역입니다.
- kvn95ss
> 또한, "일반 추론"이 실제로 존재하는지 확신이 서지 않습니다. 어쩌면 인간도 특화되어 있을지도 모릅니다.
저도 같은 궁금증이 있었습니다. 우리는 이제 너무 많은 자극에 노출되어 있어서 모든 것에 대해 합리적인 이해를 갖는 것이 정상이라고 착각하게 됩니다. 특별한 전문성이 요구되지 않는 한 말이죠.