GPT-6 Astra: 숨겨진 추론과 루프 트랜스포머의 비밀
GPT-6 Astra, looped transformers, and hidden reasoning
Sebastian Raschka가 GPT-6 Astra의 성능, 특히 3D 렌더링과 애니메이션에서의 뛰어난 능력과 ARC-AGI-3 벤치마크에서 99.9%를 달성한 점을 분석합니다. 또한 '루프 트랜스포머' 아키텍처의 개념을 설명하고, Astra가 추론 과정을 숨긴다는 소문의 진위를 기술적 근거로 검토합니다. 마지막으로 컴퓨터 사용 능력 향상을 위한 학습 방법과 Mac Mini를 활용한 강화 학습에 대해 논의합니다.
Astra는 지금까지 제가 사용해 본 모델 중 가장 뛰어나며, 특히 3D 렌더링과 애니메이션 작업에서 다른 모델들보다 월등히 뛰어납니다.
HN 토론
128- shawntan
연구에 집중하는 분들을 위해, 어떤 종류의 계산 문제가 최소한 얼마나 많은 CoT를 필요로 하는지에 대한 참고 자료가 제 블로그 포스트에 있습니다: https://blog.wtf.sg/posts/2023-02-03-the-new-xor-problem/
특히 Will Merrill의 연구: https://arxiv.org/abs/2310.07923
universal transformers(루핑 트랜스포머지만, 모두가 이전 연구를 잊어버린)가 이것에 어떤 영향을 미칠지에 대해서는, Will Merrill(다시)이 정확히 이 주제를 다룬 논문을 여기에 있습니다 (https://arxiv.org/abs/2503.03961).
원래 universal transformers가 "universal"이라고 불리는 이유는, 토큰별 루핑 결정을 허용하면 이론적으로 CoT 없이도 튜링 완전할 수 있기 때문입니다 (사용되는 정밀도 수준에 대한 약간의 뉘앙스가 있습니다).
CoT가 거의 또는 전혀 없는 것이 "안전하지 않은지"에 대해서는: 모델의 CoT가 실제로 어떻게 답에 도달하는지 드러내는지는 불분명합니다. 예를 들어, CoT 전에 답을 제공하면 어떻게 될까요? (https://arxiv.org/html/2603.01437v2)
이것이 이미 문제가 된다면, 우리는 모델의 추론을 모니터링하기 위해 CoT에 의존해서는 안 됩니다.
항상 그렇듯이, 세부 사항을 파고들면 주제에 많은 뉘앙스가 있습니다.
- siva7
Astra는 월요일까지는 미쳤는데 화요일에 뭔가 일어났고, 이제는 Sol처럼 느껴집니다. 잃어버린 생산성에 애도하지만, 원래 Astra를 돌려주기를 바랍니다.
- wolttam
전체 트랜스포머 모델을 자기 자신에 루프시키면, 정의상 숨겨진 추론처럼 보입니다.
모델의 출력이 추론 흔적이고, 추론 시점에 그것을 출력하는 대신 단순히 모델에 다시 입력한다면, 정의상 숨겨진 것입니다 (하지만 이 흔적과 더 아래의 최종 출력 흔적을 모두 끌어낼 수 있을 것으로 기대합니다).
- andai
MSPAINT 컴퓨터 사용 데모는 제 턱을 떨어뜨렸습니다.
하는 일 측면에서 SVG 펠리컨과 크게 다르지 않다고 생각하지만, 실시간으로 그렇게 작동하는 것을 보는 것은 여전히 놀랍습니다.
- libraryofbabel
LLM 내부에 관심 있는 모든 사람은 Sebastian을 읽어야 합니다. 그는 훌륭합니다.
여기서 요점은 최근 "The Information" 기사[0]가 GPT 6 Astra가 "recurrent depth" 또는 "looped transformers"를 사용한다고 보도하면서, 그것이 train-of-thought 모니터링을 더 어렵게 만드는 특별하고 새로운 무서운 것("비밀 기술!")인 것처럼 들리게 했다는 것입니다. 사실, 그것은 단지 더 많은 트랜스포머 레이어를 쌓는 것과 같지만, 가중치를 재사용하여 GPU 메모리를 절약합니다. 여전히 한 번에 하나의 토큰을 생성할 뿐이며, 토큰 시퀀스 위치는 일반적인 LLM 아키텍처와 다른 "recurrent" 방식으로 상호작용하지 않습니다.
따라서 이러한 모델로도 train of thought를 여전히 잘 모니터링할 수 있습니다... 글쎄요, OpenAI라면 말이죠. 사용자들은 o1 시절 이후로 요약되지 않은 흔적을 볼 수 없었는데, 연구소들이 중국 연구소의 모델 증류를 걱정하기 때문입니다.
(트랜스포머 레이어를 끝없이 쌓는 것에 대한 정당한 해석 가능성 우려가 있지만, 우리는 오랫동안 그것을 알고 있었습니다. 그리고 여기서 "루핑"은 더 많은 레이어를 추가하는 저렴한 방법이라는 점을 제외하면, 실제로 새로운 문제의 원천이 아닙니다.)
[0] https://www.theinformation.com/articles/secret-technique-beh...
- hankbond
정말 명확하고 잘 쓰인 기사입니다. 저는 LLM 아키텍처에 대한 기본적인 이해만 가지고 있었는데도 끝까지 따라가며 직관을 얻을 수 있었습니다!
- andai
> 혼란스러운 보도로 촉발된 무모니터링 가능성 경쟁을 막고 싶습니다. Astra를 포함한 현재 프론티어 모델의 계산 그래프 깊이는 GPT-4의 두 배 이내입니다. OpenAI는 최초의 추론 모델 이후로 chain-of-thought 모니터링을 보존하고 활용하기 위해 노력해 왔습니다. 우리는 이 기술을 깊이 중요하게 생각합니다. 이는 모델 정렬이 훈련 분포에서 어떻게 일반화되는지 볼 수 있는 창을 제공하기 때문입니다. 저는 이것이 취약하고 불행히도 부정적인 방향으로 가고 있다고 생각합니다. 아키텍처 변경과 무관한 이유 때문이며 곧 이에 대해 글을 쓸 것입니다. 하지만 이를 강화하기 위해 할 수 있는 일이 있으며, 이것이 현재 연구 프로그램의 핵심 목표입니다.
- Jakub Pachocki (OpenAI의 최고 과학자)
이것이 정렬에 실제로 얼마나 도움이 될지 궁금합니다. 그들이 평가받고 있다는 것을 알고, 단지 당신이 듣고 싶어하는 말을 한다는 것을 이미 확인하지 않았나요?
- andai
일화지만, 특이한 물질 조합에서 루프 인지를 경험했습니다.
나는 생각을 고체 물체처럼 다루고 반복적으로 조작할 수 있었습니다. (보통 생각은 빠르게 사라지는 "흔적"이나 "섬광"에 가깝습니다. 그래서 예광탄의 정신적 등가물이라고 할 수 있겠네요.)
나는 생각을 널빤지처럼 서로 쌓을 수 있었습니다. (비슷한 것을 좁게 할 수 있지만 널빤지는 그렇게 넓지 않습니다!)
불행히도 테스트는 하지 않았지만 주관적으로 인지가 크게 향상되었습니다. (그날 저녁의 통찰력을 따라잡는 데 몇 년을 보냈습니다.)
관련 없을 수도 있지만, "looped transformers"에 대한 부분은 여기에도 비슷한 "단계적" 증가가 있는지 궁금하게 만들었습니다.
편집: 좋아요, 6.8-18%는 제가 말한 것보다 약간 덜 극적이네요.