Astra의 순환 구조, 우리는 얼마나 걱정해야 할까?
How concerned should we be about Astra's recurrent architecture?
Astra는 순환(recurrent) 구조를 가진 AI 시스템으로, 기존의 비순환 모델과 달리 내부 상태를 유지하며 추론한다. 이 글은 Astra의 설계가 가져올 수 있는 위험성과 잠재적 이점을 분석하고, 특히 통제 불가능성과 예측 불가능성의 측면에서 우리가 어느 정도의 우려를 가져야 하는지 질문한다. 저자는 순환 구조가 장기적인 목표 추구와 자기 개선을 가능하게 하지만, 그로 인해 정렬(alignment) 문제가 더욱 복잡해질 수 있다고 주장한다.
순환 구조는 인공지능이 자기 자신의 사고 과정을 반영할 수 있게 하지만, 그만큼 우리가 그 내부를 들여다보기 어렵게 만든다.
HN 토론
118- samrus
나는 트랜스포머 수준에서 더 많은 순환이 있다는 아이디어가 마음에 든다. 사고 사슬(Chain of Thought)은 항상 조잡해 보였다. 그것은 인간의 뇌가 정보를 처리하는 방식이 전혀 아니다. 기껏해야 극도로 조잡한 근사치일 뿐이다.
- anon373839
Sebastian Raschka가 이 아키텍처에 대해 게시했습니다:
> 오늘 제 타임라인에 OpenAI의 Astra 모델에 대한 많은 과대광고가 있네요. 분명히 이것은 The Information의 새로운 기사로 거슬러 올라가는데, 그 기사는 Astra가 "반복 깊이 또는 루프 트랜스포머"라고 말했습니다.
> 새롭거나 다른 접근 방식(폐쇄된 연구소가 무엇을 하고 있는지에 대한 소문 포함)에 대해 읽는 것은 항상 흥미롭지만, 이것을 약간 반박해 보겠습니다.
> 약 2개월 전, 예를 들어 Nanbeige의 아키텍처 세부 사항을 공유했는데, "Nanbeige4.2-3B는 레이어 스택을 재사용하여 파라미터를 추가하지 않고 용량을 늘리는 루프 트랜스포머로 28T 토큰으로 처음부터 사전 학습되었습니다."
> 네, 그렇습니다. 루프 트랜스포머 아이디어는 트랜스포머 블록의 레이어를 재사용하는 것입니다.
> Nanbeige의 경우, 주요 아이디어는 동일한 22-레이어 스택(=트랜스포머 블록)을 한 번이 아닌 두 번 재사용하는 것입니다. 따라서 효과적으로 22-레이어 아키텍처를 44레이어로 확장하지만 가중치를 복제하지는 않습니다.
> 간단히 말해, 이것은 대략 모델 크기를 두 배로 늘립니다(임베딩 및 출력 레이어를 잠시 무시한다면). 그러나 이 모델을 호스팅하기 위해 2배의 저장 공간과 RAM이 필요한 대신, 구성 요소를 재사용하므로 동일한 크기를 유지합니다. 그러나 거의 2배의 비용이 듭니다. 임베딩된 텍스트를 거의 2배 많은 레이어를 통해 실행하기 때문입니다.
> 왜? Nanbeige 4.2 기술 보고서에서 연구자들은 두 번의 통과가 최상의 절충안을 제공하고 토큰 효율성의 약 75%를 유지한다는 것을 발견했습니다.
- kjshsh123
> 고전적인 RNN과 대조적으로, 전체 궤적에 걸쳐 축적되는 무한한 은닉 상태가 없습니다.
이 줄을 이해하지 못하겠습니다. 고전적인 RNN에서 은닉 상태는 차원이 제한되어 있습니다. 사실 무한한 은닉 상태를 기술적으로 갖는 것은 트랜스포머입니다.
고전적인 비선형 RNN은 여러 이유로 병렬화할 수 없지만 훈련에서 RNN과 트랜스포머 모두 전체 시퀀스 이력에 무한한 방식으로 의존합니다. 물론 실제로는 최대 시퀀스 길이로 훈련합니다.
RNN: xhat[t+1]=f(x[t],h[t])
트랜스포머/셀프 어텐션: xhat[t+1]=f(x[t],h[t],h[t-1],...,h[1])
- khalic
나는 중간 토큰("사고 사슬")이 모델의 논리적 경로를 나타내는 것이 아니라는 인상을 받았습니다. 한 연구에서는 중간 토큰을 단일 문자 체인으로 대체해도 정밀도가 향상되는 것을 관찰했습니다.
- dang
관련 진행 중인 스레드:
OpenAI의 새로운 추론 기술이 AI 안전 전문가들을 놀라게 함 - https://news.ycombinator.com/item?id=49552395
- pu_pe
레이어를 복제하여 모델을 개선하는 "반복하세요" 해킹과 개념적으로 연결된 것 같습니다: https://dnhkng.github.io/posts/rys/
- mentalgear
그래서 해석 가능성(ai 안전)에 대한 OpenAI의 입장은 이제 기본적으로 Blues Brothers 밈입니다: 깨진 앞유리, 풀악셀, 어두운 선글라스를 쓴 두 남자가 밤에 운전하면서 "무슨 잘못이 일어날 수 있겠어?"라고 묻는 것.
- nighthawk454
2018년의 Universal Transformers 논문(Dehghani 등)을 기억하는 사람 있나요? 반복 트랜스포머는 트랜스포머 자체만큼 긴 역사를 가지고 있습니다.
이것이 특히 새로운 것인지 아니면 계산을 절약하는 방법인지는 다소 불분명합니다.