P(doom): почему я не верю в конец света, но боюсь за нас
Автор разбирает вирусную дискуссию о P(doom) и посте Dario Amodei о необходимости «замедлить фронтир». Он согласен с наблюдениями, но не с выводами: главная угроза — не вымирание, а ущерб для обычных людей и Open Source. Закрытые модели OpenAI и Anthropic уже создают проблемы, а открытые веса могли бы сами стать тормозом. Регулирование провалилось везде, а общество удивляет автора своим спокойствием.
Идеально было бы, если бы регуляторы заставили эти модели приносить пользу общему достоянию, раз уж они созданы из общего достояния.
- demibabs
Я не большой поклонник Эда Зитрона, но одна его фраза засела у меня в голове:
OpenAI и Anthropic тратят много времени на предупреждения о том, «что если мощные ИИ попадут не в те руки?»
Но они уже не в тех руках.
- pandoro
Я не могу понять, как можно интенсивно работать над проблемой, которая, по твоему искреннему убеждению, с вероятностью «10–25%» причинит огромный вред или даже будет угрожать существованию человечества. Как можно действительно так думать и мириться с этим?
- bryan0
> Мощная технология, доступная всем, несёт в себе встроенное ограничение темпа. В каком-то смысле это самая настоящая форма MAD или распространения.
Я думаю, это непонимание MAD подрывает всю его мысль. Если бы у всех был равный доступ к ядерному оружию, наше общество довольно быстро прекратило бы существовать. Достаточно нескольких злоумышленников, чтобы причинить огромный вред.
Ещё, по-моему, он наивен, полагая, что если OpenAI и Anthropic завтра остановят разработку, проблема решится. Как будто нет никого другого, кто может и быстро займёт их место. Настоящая проблема, на которую указывает Дарио, — это проблема координации. Все должны согласиться остановиться. Вот в чём вызов.
- passive
Это самое близкое к моим чувствам по поводу всей этой ситуации, что я когда-либо видел написанным, охватывающее множество разных аспектов того, насколько это глупо и больно (хотя неделя выдалась удачной для таких постов).
Поскольку я испытываю огромное уважение к Армину и его работе, это очень приятно видеть, и я надеюсь, что это разбудит некоторых других людей.
- ilyaizen
На самом деле есть только две компании: Anthropic и OpenAI. Никто другой в этой области сейчас не имеет значения (это может измениться, но мы говорим о «сейчас»).
Мне нравится, как он так небрежно отмахнулся от всех остальных лабораторий, включая ведущие американские лаборатории, которые, возможно, уже близки к RSI. И как он относится к «сейчас» так жёстко, будто семь лет назад, когда вышла GPT-2, — это какое-то далёкое прошлое.
- mangecoeur
Абсурдно, что OpenAI удалось превратить свои провалы в кибербезопасности — когда их собственная защита недостаточно хороша, чтобы гарантировать, что их собственный продукт не выйдет из-под контроля, — в маркетинговый успех.
Когда компания использует свои продукты для взлома других компаний, это преступление. Если ты делаешь это «случайно», это грубая халатность, и головы летят. Но крикни «ИИ» три раза — и это становится маркетинговой возможностью.
- skor
Может, я что-то упустил, но я активно искал чей-либо взгляд на «замедление фронтира» в духе: «мы достигли потолка, так что не ждите скорых инноваций». Или оправдание тому, что есть дела поважнее.
Страх гораздо сильнее любого другого чувства, так что его внедрение определённо подготовит почву для хорошего обмана на IPO.
Что касается опасности, компьютер может быть опасен, если его включить в розетку; возможно, в какой-то момент будет слишком поздно выдёргивать вилку, да, но всё это выглядит как провокация.
Правдоподобно?
- chis
> Я не думаю, что ИИ вызовет событие вымирания. На самом деле, даже если бы никто не замедлялся, я действительно не думаю, что человечеству стоило бы сильно беспокоиться.
Ну конечно. Если ты так считаешь, то твой p(doom) равен нулю, и тогда логично беспокоиться о таких вещах, как концентрация рынка или потеря удовольствия от программирования.