P(doom): почему я не верю в конец света, но боюсь за нас
Автор разбирает вирусную дискуссию о P(doom) и посте Dario Amodei о необходимости «замедлить фронтир». Он согласен с наблюдениями, но не с выводами: главная угроза — не вымирание, а ущерб для обычных людей и Open Source. Закрытые модели OpenAI и Anthropic уже создают проблемы, а открытые веса могли бы сами стать тормозом. Регулирование провалилось везде, а общество удивляет автора своим спокойствием.
Идеально было бы, если бы регуляторы заставили эти модели приносить пользу общему достоянию, раз уж они созданы из общего достояния.
- demibabs
Я не большой поклонник Эда Зитрона, но одна его фраза засела у меня в голове:
OpenAI и Anthropic тратят много времени на предупреждения о том, «что если мощные ИИ попадут не в те руки?»
Но они уже не в тех руках.
- passive
Это самое близкое к моим чувствам по поводу всей этой ситуации, что я когда-либо видел написанным, охватывающее множество разных граней того, насколько это глупо и больно (хотя неделя выдалась удачной для такого рода постов).
Поскольку я испытываю огромное уважение к Армину и его работе, это очень приятно видеть, и я надеюсь, что это разбудит некоторых других людей.
- bryan0
> Мощная технология, доступная всем, имеет встроенный механизм сдерживания. В каком-то смысле это самая истинная форма MAD или распространения.
Я думаю, это непонимание MAD подрывает всю его точку зрения. Если бы у всех был равный доступ к ядерному оружию, наше общество прекратило бы существовать довольно быстро. Достаточно нескольких недобросовестных игроков, чтобы причинить огромный вред.
Я также считаю, что он наивен, полагая, что если open ai и anthropic завтра прекратят разработку, то проблема решена. Как будто нет никого другого, кто может и быстро займёт их место. Настоящая проблема, на которую указывает Дарио, — это проблема координации. Все должны согласиться остановиться. Вот в чём вызов.
- pandoro
Не могу понять, как можно интенсивно работать над проблемой, которая, по твоему искреннему убеждению, с вероятностью «10–25%» причинит огромный вред или даже представляет риск вымирания человечества. Как можно действительно верить в это и мириться с этим?
- ilyaizen
На самом деле есть только две компании: Anthropic и OpenAI. Никто другой в этой сфере сейчас не имеет значения (это может измениться, но мы говорим о «сейчас»).
Мне нравится, как он так небрежно отмахнулся от всех остальных лабораторий, включая ведущие американские лаборатории, которые, возможно, уже близки к RSI прямо сейчас. И как он относится к «прямо сейчас» так жёстко, словно семь лет назад, когда вышла GPT-2, — это какое-то далёкое прошлое.