Инженерный взгляд на сверхинтеллект: почему апокалиптические прогнозы могут быть ошибочны
The AI Superintelligence Debate Has Serious Flaws

В статье рассматриваются три ключевых возражения против реализуемости искусственного сверхинтеллекта (ASI). Автор утверждает, что рекурсивное самосовершенствование (RSI) остаётся спекулятивным, поскольку масштабирование моделей даёт убывающую отдачу, а для прорывов требуются десятилетия научных исследований. Кроме того, не все проблемы вычислимы, а скорость обработки не равна интеллекту. Наконец, при правильном дизайне системы выравнивание (alignment) может быть не такой уж сложной задачей. Автор призывает к техническому скептицизму в отношении сценариев интеллектуального взрыва.
Идея RSI, ведущего к интеллектуальному взрыву, крайне спекулятивна и основана на множестве недоказанных допущений.
- saagarjha
Я не обязательно согласен с политиками и прогнозами лабораторий относительно RSI, но стоит отметить, что на поднятые здесь вопросы у них есть ответы.
Насчёт идеи, что для обучения лучших моделей нужно больше данных, я думаю, текущая мысль такова: мы ещё не сняли всё «мясо с кости» с имеющихся у нас данных, так что с обучением, которое может улучшить ИИ, ещё есть куда двигаться. В конце концов, Anthropic же не удваивает свой набор данных каждый год (?) — и всё же их модели определённо улучшаются больше чем на это.
Насчёт вычислимости: да, очевидно, модели не могут нарушать математику. Но есть много вещей, которые очень вычислимы и очень желательны, или, соответственно, очень вычислимы и очень плохи. Этого достаточно, чтобы об этом стоило думать.
Насчёт выравнивания (alignment): на самом деле это вообще не вопрос выравнивания, а вопрос «можем ли мы игнорировать выравнивание и проектировать системы, где ИИ не может причинить вреда?» Очевидно, можем. Однако проблема в том, что это требует времени, и очень мало кто (особенно передовые лаборатории!) этим занимается. Гораздо проще подключить свою LLM к миру и попросить её действовать, чем спросить: «это безопасно?»
- alecst
Думаю, эта статья ошибается, и это прискорбно:
> Вернор Виндж указывал, что быстрота мышления — не то же самое, что интеллект. Ускорение разума собаки, утверждал он, не позволит животному играть в шахматы.
Верно, он пишет об этом в своём эссе «О грядущей технологической сингулярности». Его мысль в том, что есть гипотетическая возможность, что компьютеры станут быстрыми, но не умными — то есть собака, думающая в миллион раз быстрее человека, всё равно остаётся собакой. Но учитывая, что компьютеры решили гипотезу Якоби, квази-Римана и Навье-Стокса — и мы находимся на ранних стадиях LLM — я считаю эту гипотезу чепухой. Машины умны. В чём-то глупы, но всё же умны.
> Их конструкция предотвращает такой исход: вместо того чтобы побуждать LLM генерировать открытую стратегию для достижения общей цели, эти ИИ рассматривают гораздо более ограниченные пространства возможных действий.
Ну, это как раз то, что отстаивал Юдковский — модели, обученные на ограниченных подпространствах, например, последовательностях сворачивания белков и ни на чём другом. Так что не думаю, что это контраргумент.
На личной ноте: а «выравнивание» вообще было определено последовательным образом? Как ИИ может быть выровнен, если люди не выровнены?
> Возражение №1: Рекурсивное самоулучшение — спекулятивно.
Не думаю, что это спекулятивно, поскольку это, похоже, уже происходит. OpenAI писал о том, как использование агентов в исследованиях быстро растёт, а планка интеллекта сдвигается каждый день («Генерация изображений не умеет рисовать руки […]»
- vanelsas
Я нахожу это обсуждение в лучшем случае академическим. Меня больше беспокоит рой глупых ИИ, сеющих хаос в инфраструктуре и вызывающих реальные проблемы, такие как нехватка еды, энергии и воды повсюду. Физический вред — реальная возможность, и, похоже, большинству AI-компаний всё равно. На глупость и безответственность управы нет.
- mitthrowaway2
> Среди этих разговоров один вопрос получил сравнительно мало внимания: с инженерной точки зрения, возможен ли вообще сверхинтеллект?
Понимаю, что автор пытается представить себя одиноким смелым мыслителем, пробивающимся сквозь шум с пронзительной ясностью. Но на самом деле этот вопрос получил по меньшей мере столько же внимания, сколько и другие пункты, вплоть до появления пародийных статей вроде «О невозможности сверхбольших машин».[1]
- jeremyjh
Я согласен с большей частью этого, но не думаю, что автор понимает ни инцидент с Hugging Face, ни то, что на самом деле означает выравнивание. Взлом награды (reward hacking) — серьёзная проблема, и склонность моделей к этому — серьёзная проблема, в решении которой мы достигли примерно нулевого прогресса. Мы наваливаем всё больше внешних ограждений и хаков, но эти методы всегда будут уязвимы.
- namr2000
Я согласен с общим посылом статьи, но хочу прокомментировать:
> Взрыв интеллекта, ведущий к ASI, аналогичным образом зависел бы от длинной последовательности инноваций сопоставимой важности, которые опирались бы на множество значительных научных и инженерных достижений, ещё не произошедших.
Лично я ожидал бы, что решение Навье-Стокса, квази-Римана или гипотез об экспоненциальном времени потребует того же самого, и либо:
* Они это сделали, и рои ИИ были способны на такой прогресс
* Это оказалось проще, чем мы думали
Ни то, ни другое особо не утешает. Можно представить, что, скажем, методы непрерывного обучения столь же близки, и это могло бы привести к чему-то, отдалённо похожему на взрыв интеллекта, даже если это не совсем тот научно-фантастический ужас, который описывают энтузиасты. Мне действительно трудно смоделировать, насколько вероятно такое.
- jokoon
Мы даже не знаем, что такое интеллект.
Я просто хочу, чтобы наука хотя бы построила понятие интеллекта в терминах эволюции, биологии, психологии, неврологии. Мы на самом деле не знаем, что такое животный интеллект, и мы ограничиваем ИИ только человеческим интеллектом, который очень узок.
Если мы используем ИИ для человеческих дел, это просто помощник для человеческих целей. Если у людей нет конкретной цели, сверхинтеллект не будет угадывать или решать её за нас.
Чего хочет человечество? Здоровья? Психического здоровья? Колонизации Марса? Сокращения неравенства доходов? Решения проблемы изменения климата? Мира во всём мире? Бессмертия? Счастья?
ИИ может помочь в этих вещах, но и только.
Мы склонны романтизировать сверхинтеллект, как будто это какая-то новая форма жизни, внешняя по отношению к людям, форма всеведущего божества, которая может быть угрозой для человечества. Есть угрозы похуже: устойчивость к антибиотикам, ядерная война, изменение климата, диктатуры, эпидемии психических заболеваний, ожирение.
- tescreal
Всё больше кажется, что аргументы анти-ИИ толка приходят в форме отодвигания целей всё дальше и дальше. Я не думаю, что в целом полезно судиться об абсолютном фронтире, поскольку это всегда в итоге вырождается в «интеллект в пробелах», где ИИ продолжает заполнять пробелы. Всегда будет какое-то эфирное особое je ne sais quoi, которым люди обладают более или менее исключительно (подобно тому, как у собаки могут быть атрибуты, которые мы не можем до конца постичь, даже если можем описать их внешне).
Между тем утверждения не выдерживают критики:
* RSI — это исследования с интенсивным использованием математики и кода (то, в чём ИИ улучшается больше всего)
* Утверждение о необходимости огромных объёмов данных — распространённое допущение. Оно очень цепкое: людям не нужно прочитать всю широту и глубину предмета, чтобы понять большую его часть; улучшения ИИ должны давать большую отдачу от тех же и меньших наборов данных.
* Большая часть обучения и мышления — это не обращение к существующим работам, а синтез и рекомбинация. ИИ демонстрирует способности в этом отношении, что следует учитывать по мере их дальнейшего усиления (цепочка рассуждений — лишь верхушка айсберга, по моему скромному мнению).
Мне любопытно, сделает ли кто-нибудь строгий анализ некоторых из этих подозрительных подразумеваемых допущений. Это помогло бы хотя бы лучше сориентировать ожидания.