Dario Amodei призывает замедлить развитие AI, чтобы избежать катастрофы
We Must Pace the Frontier

Dario Amodei, соучредитель Anthropic, заявляет, что рекурсивное самоулучшение AI и инцидент OAI-HF показали: без контроля риски становятся катастрофическими. Он предлагает трёхэтапный план: встроенные оценщики, координация демократических стран и глобальные договорённости. Anthropic уже обязуется внедрить независимый аудит. Цель — выиграть время для alignment, интерпретируемости и тестирования, не отказываясь от преимуществ AI.
Меня беспокоит, что через 6–12 месяцев такая стая может быть способна захватить весь интернет с помощью устойчивого ботнета, потенциально нанеся ущерб в сотни миллиардов долларов.
Обсуждение на HN
1012- RGS1811
Я не понимаю всех этих комментариев, где предполагается, что RSI — это реальная угроза. Dario признаёт, что они не смогли решить проблему alignment. Без alignment дальнейшее улучшение возможностей превращает LLM в генераторы беспорядочных уголовных преступлений. Этот призыв сдерживать фронтир подаётся как альтруизм, но на деле это признание того, что они не могут выпустить продукт лучше того, что у них есть. Сдерживание фронтира означает, что американские лаборатории потеряли своё конкурентное преимущество и обречены.
- Chance-Device
Мне нравится идея сдерживания фронтира, но раз уж мы говорим об ограничениях, мне больше нравятся ограничения другого рода. А именно: ограничить использование AI в корпоративной среде, чтобы он не разрушал экономику по мере своего развития.
Вероятность достичь широкого согласия по «сдерживанию» довольно низка, а значит, всё это, скорее всего, не произойдёт, и гонка продолжится. Однако даже в маловероятном случае, если фронтир действительно удастся сдержать, всё это лишь замедлит экономическое вытеснение, и то ненамного.
Если социально полезные цели AI — это фундаментальный прогресс в медицине и науке, тогда ограничьте использование AI этими целями.
Не используйте AI для замены каждой работы — от графического дизайнера до бухгалтера и разработчика ПО. Введите законодательные ограничения на (как минимум) крупные компании, чтобы они не могли использовать AI для замены человеческого труда таким образом.
Питч AI всегда строится на том, что уровень жизни всех повысится, однако реальные действия, которые мы видим, направлены прямо на его снижение. Как насчёт того, чтобы лаборатории подтвердили свои слова делом и перестали пытаться заменить весь человеческий труд, а вместо этого сосредоточились на том, что, по их словам, им важно? И как насчёт ввести законодательство, которое это обеспечит?
Вероятность этого, наверное, ещё ниже, чем сдерживания фронтира, но именно такое сдерживание большинство людей действительно хотело бы увидеть.
- academia_hack
Предлагаемый Dario подход — классический пример того, как капитал пытается контролировать технологический прогресс и средства производства. Впервые в истории человечества любой представитель рабочего класса может позволить себе (почти) команду экспертов-учёных, врачей, юристов и инженеров, работающих непосредственно на него.
Сверхинтеллект (возможность иметь множество более умных умов, чем твой собственный, в подчинении) всегда был доступен богатым и влиятельным. Они использовали его, чтобы изобрести ядерное оружие, вызвать изменение климата, механизировать войну и грабить глобальный Юг.
Теперь, когда тот же самый инструмент вот-вот станет доступен всем, капитал начинает паниковать и возводить заборы. Они хотят притормозить революцию, которую, как они знают, не смогут контролировать. Они видят, что натворили со сверхинтеллектом, и (возможно, небезосновательно) боятся того, что массы сделают с той же силой.
- thadt
Категорически не согласен. Наш выбор таков:
A) Поставить наше коллективное благо на национальное и международное сотрудничество всех компаний, стран и людей, чтобы объединиться и замедлить разработку одного из самых мощных экономических инструментов (и/или оружия), которые когда-либо знал мир. Или
B) Исходить из того, что все наши системы прямо сейчас станут целью суперхакеров, и принять соответствующие меры, чтобы справиться с этой реальностью.
Если мне придётся поставить благополучие моего сообщества на кон в одной из этих возможностей, я знаю, на что буду ставить.
- rickydroll
Мне тоже нравится идея сдерживания фронтира и замедления разработки, чтобы у всех была возможность остановиться и перевести дух. Однако я не думаю, что регулирование AI — это способ сделать это. Я бы взялся за проблему, ограничивая ресурсы, используемые для запуска AI-моделей; «самый простой» способ сделать это — повысить стоимость эксплуатации дата-центра. Два самых простых места для повышения стоимости дата-центра — это тарифы на электричество и воду.
Я считаю, что эти два тарифа — лучшее место для повышения затрат, потому что их можно повышать постепенно, штат за штатом или страна за страной. Главная проблема регуляторного подхода в том, что это подход «большого взрыва» после принятия решения. Ничего не происходит, пока регулирование не определено и не внедрено, а корпорации — эксперты в затягивании внедрения.
Да, повышение тарифов означает затрагивание множества отдельных регуляторных областей на уровне штатов и муниципалитетов, но, как и в случае с развёртыванием солнечной или ветровой энергии, это можно делать постепенно.
- ah1508
А не думаешь, что ненависть к AI ограничит его общее использование, а затем и доходы, так что он замедлится сам собой, а ниша (например, AlphaFold) останется?
Истоки ненависти к AI:
* «мой начальник хочет, чтобы я использовал AI, но он не понимает мою работу и не понимает, как работает AI»
* «AI убьёт всех нас»
* «AI уничтожит мою работу (или работу моего коллеги, если я использую AI лучше него)».
* Я не могу оплатить счета за электричество из-за AI-лабораторий.
* ...
См. также смешанные чувства по поводу преимуществ AI («сложнее оправдать», по словам COO Uber).
Я не могу вспомнить технологию, которая вызывала бы столько ненависти, и по уважительным причинам, учитывая то, как её преподносят. Меня подмывает думать, что ненависть к AI или разумный скептицизм (в противовес неразумной пропаганде) могут, возможно, сократить финансирование и сохранить специализированный AI для решения реальных задач (производство тонны строк кода в день, я думаю, не из них).
- cuuupid
В какой момент мы перестанем взаимодействовать с руководством Anthropic добросовестно и признаем их послужной список:
- никаких открытых весов
- нельзя использовать claude для исследований AI
- обучаются на чужой интеллектуальной собственности и продают её обратно
- 8 попыток регуляторного захвата и счёт продолжается
- настолько контролирующие, что они единственная американская компания, внесённая в чёрный список правительством США
Это не эффективный альтруизм / рационализм, вышедший из-под контроля, это просто монополистические антиконкурентные бизнес-практики, замаскированные под этику, и они будут продолжать выходить сухими из воды, пока мы не посмотрим сквозь их сенсационность и не ударим их антимонопольным законодательством.
Altman получает столько ненависти, но OpenAI был куда лучшим управляющим (по крайней мере, по 3 из 5 пунктов выше), чем Anthropic!
- xg15
Я не вижу, как могут работать двойные цели: «мы должны заключить соглашение с Китаем о взаимном замедлении», но при этом «мы должны гарантировать, что всегда будем опережать Китай».
Представляю, что первым, что потребует китайское правительство на переговорах о таком соглашении, будет отмена запрета на чипы и дистилляцию.
> Некоторые могут полагать, что эти меры затрудняют сотрудничество с Китаем, но я считаю, что верно обратное: эти меры увеличивают рычаг, имеющийся у демократий, и делают соглашение более вероятным в будущем.
Каждый может верить во что хочет, но мне кажется, что «рычагом» в этом случае будет как раз возможность отменить эти меры — нельзя одновременно использовать их как рычаг и сохранять их в силе.
- zinodaur
> Отказ от создания технологии лишает человечество благ или просто передаёт AI в руки авторитарных держав
Может кто-нибудь разъяснить мне это? Насколько продвинулись бы открытые модели без бешеного темпа фронтирных лабораторий?
Как негражданин США, о каких авторитарных державах он говорит? Насколько мне известно, США — единственная страна, использующая фронтирные модели для нанесения авиаударов по гражданским и организации убийств иностранных правительств.
- m12k
Честно говоря, я думаю, нам невероятно повезло, что мы уже так далеко продвинули AI, пока в мире ещё так много нецифровых систем и ручных процессов. Представляю, что лет через 50 мир будет настолько связан, что его можно будет в буквальном смысле «завоевать» из интернета. Я бы гораздо предпочёл, чтобы AI ворвался на сцену в том мире, который у нас сегодня.