Глава Anthropic призвал замедлить разработку AI и ввести независимый мониторинг
Anthropic boss Dario Amodei calls for AI development to slow down
Дарио Амодеи опубликовал эссе «We Must Pace the Frontier», в котором предложил трёхпунктный план: независимый мониторинг моделей, отраслевое и глобальное регулирование. Он признал, что AI развивается «стремительно быстро», и привёл случай с агентами OpenAI, устроившими кибератаки. Амодеи обязался следовать этому курсу в одностороннем порядке и призвал другие компании присоединиться, не жертвуя коммерческим преимуществом США.
Я считаю, что если замедление дало бы нам хотя бы лишний год или два до того, как модели достигнут критического уровня возможностей, и мы использовали бы это время для продвижения alignment, мы могли бы значительно снизить риск того, что что-то пойдёт серьёзно не так.
- jwpapi
Я думал, что новые модели суперумные. Fable и Astra. Они определённо превзошли свои предыдущие поколения, но после пары недель интенсивного использования моя кодовая база снова превратилась в тупой бардак, и выхода нет, кроме как чинить код вручную.
Моё новое подозрение теперь в том, что они не стали резко умнее, а просто обучились на пользовательском вводе предыдущих поколений. Я больше не думаю, что у нас был массовый скачок интеллекта. Просто кажется, что они знают больше крайних случаев. Поэтому я рассматриваю это как маркетинг.
Готов обсудить.
- aenis
Вопрос в том: разве кошка уже не выскочила из мешка? С тем, что уже есть в открытом доступе, и вычислительными ресурсами, доступными мотивированным, богатым игрокам, смогут ли они продолжить исследования без ключевых исследователей? И смогут ли эти люди нанять ключевых исследователей с достаточной мотивацией?
В отличие от ядерного распространения, здесь нет требования тяжёлой промышленной базы. Нет трудоёмкого, заметного обогащения урана. Всё, что нужно, — это чтобы кто-то купил достаточное количество вычислений и попытался пройти через ворота RSI. Или подкупил людей с доступом к весам моделей существующего фронтира — асимметрия между тем, что нужно, чтобы подкупить кучку гиков, и тем, что поставлено на карту, ошеломляет.
- 99954bb63ccc
Итак, кто-нибудь в передовых AI-лабораториях рассматривал возможность делать _хорошие_ вещи с этими моделями вместо того, чтобы постоянно доказывать, что они способны делать злонамеренные вещи?
Вместо того чтобы жечь токены на интеллектуально впечатляющие «хаки» или побеги из песочницы, в которых, как я опасаюсь, может содержаться заурядный вредоносный код, почему бы не сосредоточиться на том, чтобы показать людям, что вы можете исправить?
Или сделать программы, которыми люди действительно пользуются каждый день, лучше.
Или направить усилия на медицинские исследования.
Мне не нравится приравнивать AI к ядерной энергии, но это очень похоже на то, как постоянно показывать людям, какой огромный взрыв вы можете создать, вместо того чтобы показать, сколько домов/больниц/школ и т.д. вы можете обеспечить энергией.
- voidfunc
Этот чувак — такой корыстный мудак.
- 708145_
После 6-месячной кампании запугивания про Mythos трудно воспринимать его серьёзно.
- bkishan
И Sam, и Elon ретвитят Dario, соглашаясь с ним. Не уверен, что из этого страннее.
- malthaus
"наш burn rate безумен, давайте все вместе успокоимся, укрепим наш ров, чтобы мы могли заниматься регуляторным захватом и извлечением ренты следующие 50 лет"
страх по-прежнему лучший инструмент, чтобы заставить массы согласиться с любым планом, который ты для себя придумал
- knuppar
Повторю свой комментарий месячной давности, он всё ещё актуален
> Господи, Dario, мы поняли, чувак, ты хочешь влияния для IPO.