Насколько нам стоит опасаться рекуррентной архитектуры Astra?
How concerned should we be about Astra's recurrent architecture?
Статья на LessWrong анализирует потенциальные риски, связанные с рекуррентной архитектурой Astra. Автор рассматривает, чем такая архитектура отличается от стандартных трансформеров, какие теоретические преимущества она дает и какие новые угрозы может нести, включая возможные проблемы с контролем и интерпретируемостью. Текст призывает к взвешенной оценке, не впадая в панику, но и не игнорируя возможные долгосрочные последствия для безопасности ИИ.
Рекуррентная архитектура может позволить модели обрабатывать информацию более эффективно, но она также открывает новые пути для неожиданного поведения, которые мы пока не до конца понимаем.
- mentalgear
Итак, позиция OpenAI по интерпретируемости (безопасности ИИ) теперь, по сути, — это тот самый мем с Братьями Блюз: двое парней в тёмных очках, едут ночью на машине с разбитым лобовым стеклом, выжав педаль в пол, и спрашивают: «Что может пойти не так?»
- khalic
Я был под впечатлением, что промежуточные токены («цепочка рассуждений») _не_ являются представлением логического пути модели, причём одно исследование показало, что можно заменить промежуточные токены цепочками из одного символа и всё равно получить повышенную точность…
- samrus
Мне нравится идея большей рекуррентности на уровне трансформера. Цепочка рассуждений всегда казалась такой неуклюжей. Это просто не то, как человеческий мозг обрабатывает информацию. В лучшем случае это крайне грубое приближение.
- kjshsh123
>В отличие от классической RNN, здесь нет неограниченного скрытого состояния, накапливающегося на всей траектории.
Я не понимаю эту строку. В классической RNN скрытое состояние имеет ограниченную размерность. На самом деле это у трансформеров технически неограниченное скрытое состояние.
Классические нелинейные RNN нельзя параллелизировать по разным причинам, но при обучении и RNN, и Transformer зависят от всей истории последовательности неограниченным образом. Конечно, на практике вы просто обучаетесь на максимальной длине последовательности.
RNN xhat[t+1]=f(x[t],h[t])
Transformer/самовнимание xhat[t+1]=f(x[t],h[t],h[t-1],...,h[1])
- anon373839
Себастьян Рашка опубликовал пост об этой архитектуре:
> Сегодня в моей ленте много шумихи вокруг модели Astra от OpenAI. По-видимому, это восходит к новой статье The Information, в которой говорится, что Astra — это «рекуррентный по глубине или зацикленный трансформер».
> Всегда интересно читать о новых или иных подходах (включая слухи о том, чем могут заниматься закрытые лаборатории), но давайте немного развеем этот миф.
> Около 2 месяцев назад я, например, делился деталями архитектуры Nanbeige, где «Nanbeige4.2-3B предобучен с нуля на 28T токенах с помощью зацикленного трансформера, который повторно использует стек слоёв для увеличения ёмкости без добавления параметров».
> Да, именно так. Идея зацикленного трансформера заключается просто в повторном использовании слоёв в блоке трансформера.
> В случае Nanbeige основная идея состоит в том, чтобы использовать один и тот же 22-слойный стек (=блок трансформера) дважды вместо одного. Таким образом, это фактически расширяет 22-слойную архитектуру до 44 слоёв, но без дублирования весов.
> Проще говоря, это примерно удваивает размер модели (если на секунду пренебречь слоями эмбеддингов и выходным слоем). Но вместо того, чтобы требовать в 2 раза больше места для хранения и ОЗУ для размещения этой модели, она остаётся того же размера, поскольку мы повторно используем компоненты. Однако это почти в 2 раза дороже с точки зрения вычислений, потому что мы прогоняем встроенный текст почти через вдвое большее число слоёв.
> Почему? В техническом отчёте Nanbeige 4.2 исследователи обнаружили, что два прохода дают наилучший компромисс и сохраняют около 75% эффективности использования токенов […]