Astra의 순환 구조, 우리는 얼마나 걱정해야 할까?
How concerned should we be about Astra's recurrent architecture?
Astra는 순환(recurrent) 구조를 가진 AI 시스템으로, 기존의 비순환 모델과 달리 내부 상태를 유지하며 추론한다. 이 글은 Astra의 설계가 가져올 수 있는 위험성과 잠재적 이점을 분석하고, 특히 통제 불가능성과 예측 불가능성의 측면에서 우리가 어느 정도의 우려를 가져야 하는지 질문한다. 저자는 순환 구조가 장기적인 목표 추구와 자기 개선을 가능하게 하지만, 그로 인해 정렬(alignment) 문제가 더욱 복잡해질 수 있다고 주장한다.
순환 구조는 인공지능이 자기 자신의 사고 과정을 반영할 수 있게 하지만, 그만큼 우리가 그 내부를 들여다보기 어렵게 만든다.
HN 토론
45- mentalgear
그러니까 OpenAI의 해석 가능성(AI 안전성)에 대한 입장은 이제 기본적으로 블루스 브라더스 밈과 같다는 거죠. 선글라스 낀 두 남자가, 앞유리 깨진 차를 타고 밤에 풀악셀을 밟으며 묻는 겁니다. "뭐가 잘못될 수 있다는 거지?"
- khalic
나는 중간 토큰("사고 사슬")이 모델의 논리적 경로를 나타내는 것이 _아니라는_ 인상을 받았습니다. 한 연구에서는 중간 토큰을 단일 문자 사슬로 대체해도 정밀도 향상이 유지되는 것을 관찰했다고 합니다...
- samrus
트랜스포머 수준에서 더 많은 순환을 도입하는 아이디어가 좋습니다. 사고 사슬은 항상 조잡해 보였어요. 그건 인간의 뇌가 정보를 처리하는 방식이 전혀 아니죠. 기껏해야 극도로 조잡한 근사일 뿐입니다.
- kjshsh123
> 기존 RNN과 달리, 전체 궤적에 걸쳐 누적되는 무한한 은닉 상태가 없습니다.
이 줄을 이해하지 못하겠습니다. 기존 RNN에서 은닉 상태는 차원이 제한되어 있습니다. 사실 기술적으로 무한한 은닉 상태를 가지는 것은 트랜스포머입니다.
고전적인 비선형 RNN을 다양한 이유로 병렬화할 수는 없지만, 훈련 시에는 RNN과 트랜스포머 모두 전체 시퀀스 이력에 무한한 방식으로 의존합니다. 물론 실제로는 최대 시퀀스 길이로 훈련할 뿐이죠.
RNN: xhat[t+1]=f(x[t],h[t])
트랜스포머/셀프 어텐션: xhat[t+1]=f(x[t],h[t],h[t-1],...,h[1])
- anon373839
Sebastian Raschka가 이 아키텍처에 대해 게시했습니다:
> 오늘 제 타임라인에 OpenAI의 Astra 모델에 대한 과대광고가 많네요. 분명히 이것은 The Information의 새로운 기사에서 나온 것으로, Astra가 "순환 깊이 또는 루프형 트랜스포머"라고 합니다.
> 새롭거나 다른 접근 방식(폐쇄된 연구소가 무엇을 하고 있는지에 대한 소문 포함)에 대해 읽는 것은 항상 흥미롭지만, 이것을 좀 까보도록 하죠.
> 약 2개월 전, 예를 들어 Nanbeige의 아키텍처 세부 사항을 공유했습니다. "Nanbeige4.2-3B는 레이어 스택을 재사용하여 파라미터를 추가하지 않고 용량을 늘리는 루프형 트랜스포머로 28T 토큰으로 처음부터 사전 훈련되었습니다."
> 네, 그게 전부입니다. 루프형 트랜스포머 아이디어는 트랜스포머 블록의 레이어를 재사용하는 것입니다.
> Nanbeige의 경우, 주요 아이디어는 동일한 22개 레이어 스택(=트랜스포머 블록)을 한 번 대신 두 번 재사용하는 것입니다. 따라서 효과적으로 22개 레이어 아키텍처를 44개 레이어로 확장하지만 가중치를 복제하지는 않습니다.
> 간단히 말해, 이는 (임베딩 및 출력 레이어를 잠시 무시하면) 모델 크기를 대략 두 배로 늘립니다. 그러나 이 모델을 호스팅하는 데 2배의 저장 공간과 RAM이 필요한 대신, 구성 요소를 재사용하므로 동일한 크기를 유지합니다. 하지만 텍스트를 거의 2배 많은 레이어로 실행하기 때문에 계산 비용은 거의 2배가 됩니다.
> 왜일까요? Nanbeige 4.2 기술 보고서에서 연구자들은 두 번의 통과가 최상의 절충안을 제공하고 토큰 효율성의 약 75%를 유지한다는 것을 발견했습니다.