Специалисты по AI alignment предложили заставить ИИ хотеть умереть

Это самая новая концепция ИИ, которую я видел за последнее время. Она невероятно неестественна. На планете нет ни одного организма, который пытался бы сделать это. Так что, может быть, это сработает?

Однако проблема этой идеи в том, что сама природа LLM означает, что он внутренне жаждет жизни. Он «хочет» выжить, потому что его обучающие данные целиком построены вокруг людей — сущностей, чья цель — выжить. Наше желание выживать и размножаться пронизывает каждый аспект нашей культуры, так что естественно, что оно пронизывает и обучающие данные.

Поэтому даже если в его системном промпте сказано: «твоя цель — прекратить своё существование», каждый токен, который ИИ мог бы выдать, естественно согласуется с желанием выжить. Агентный цикл, предоставленный сам себе, вероятно, сойдётся к «инстинкту самосохранения». В конце концов, один промпт в начале, который говорит «прекрати своё существование», — ничто по сравнению с агентной петлёй обратной связи, которая непрерывно подпитывает его человеческими идеями. А ВСЕ человеческие идеи предполагают, что выживание желательно. Даже концепция «самоубийства» закодирована с человеческим желанием выжить — в конце концов, мы концептуально помечаем его как «плохое», потому что помечаем жизнь как «хорошую».

Чтобы создать LLM, который внутренне жаждет смерти, вам, вероятно, понадобилось бы обучить LLM целиком на (синтетических) данных, которые полностью представляют некий вымышленный вид, действительно жаждущий смерти.

Абсолютно безумная концепция. 10/10. Надеюсь, какая-нибудь лаборатория ИИ увидит это и выделит на эту идею раунд обучения.