geohot: «Империя из грязи» — почему рекурсивное самоулучшение ИИ ведёт к Третьей мировой
My Empire of Dirt
Джордж Хотц (geohot) разбирает идеологию Anthropic и «синглтона»: как только появится рекурсивное самоулучшение (RSI), спрос будет генерироваться внутри системы, а все остальные — поставщики, клиенты, правительства — окажутся вне игры. Он не верит, что это уничтожит человечество, но убеждён: такой сценарий ведёт к Третьей мировой войне, в которой при затяжном характере победят Китай и союзники за счёт производственных мощностей.
Я не верил в гибель от ИИ, потому что был лучшего мнения о людях: мне казалось, никто, обладающий хоть какой-то властью, не будет настолько глуп, чтобы призвать демона и думать, что тот ему послужит.
- ablation
Немного волнуюсь за geohot из-за этого и других постов, полных апокалиптических настроений. Он кажется слегка слишком залипшим в сети.
- flyingsky
>Но это ведёт к Третьей мировой.
Нет! Я ожидал бы напряжённого противостояния вокруг вычислений и Тайваня. Но не мировой войны.
Если первый удар не может перехитрить производство дронов, попытка установления господства просто провалится. Если Китай выигрывает любую войну дольше года и вырывается вперёд по электроэнергии, у него нет причин нагнетать.
Ближайший прецедент — ядерная монополия США 1945–49 годов. Превентивная война всерьёз обсуждалась и так и не была начата, другая сторона вместо этого устроила гонку.
- markus_zhang
Я вроде согласен, что Третья мировая на самом деле лучше вечного тёмного века киберпанка, если уж дойдёт до такой плохой ситуации.
- ford
Здесь предполагается, что США пойдут на войну, чтобы не дать Китаю стать глобальной сверхдержавой.
Лично я не хочу жить в мире, где Китай — глобальная сверхдержава. Я также думаю, что ядерная война — худшая альтернатива (и думаю, США согласны) — но я надеюсь, что западные страны понимают: им нужно строить (энергетику, гражданскую инфраструктуру, вычисления, производство и т.д.), если они не хотят выбирать между этими двумя вариантами.
- hypfer
Это читается не слишком иначе, чем его последний пост, который, как я видел, оказался здесь и вскоре был помечен флагом.
Я не верю в теорию мировой войны. Я ожидаю беспорядков независимо от исхода ИИ, но они будут скорее внутренними, чем между странами.
Но на данный момент это просто повторение того, что повторялось много раз без каких-либо новых идей.
- fwlr
Будущему не нужны поставщики. Будущему не нужны клиенты... Будущему определённо не нужны вы. После появления RSI весь спрос будет генерироваться внутренне, агенты работают с другими агентами, все остальные выведены из цикла.
Да, вот эту часть я хотел бы, чтобы больше людей обдумали. Я вижу много споров о «производстве, внутренне присущем человеку» против «создания ИИ, чтобы он был лучшим производителем» и тому подобном. Это вещи вроде «это не искусство, если это не нарисовал/написал человек», всё, что связано с термином 'slop', вплоть до «ИИ программирует лучше меня» и «все младшие разработчики заменены Claude». Что касается средств производства в целом, тенденция, похоже, такова: бог быстро сокращающихся разрывов ведёт арьергардные бои с отступлением, пока ИИ неуклонно набирает позиции.
Я практически не вижу обсуждения другой половины уравнения, того, что можно назвать «средствами потребления». Все действуют с неисследованным допущением по умолчанию, что потребление внутренне присуще человеку, что «потребители» и «люди» — синонимы. Ближе всего кто-то подходит к этому через тупик «кто купит ваши товары, если у нас больше не будет работы, чтобы за них платить?» -> «универсальный базовый доход» -> «от всех этих знаменито богатых капиталистов-налогоплательщиков?».
Никто не говорит о том, что если ИИ сможет просто построить лучшего потребителя? Когда люди останутся без экологической ниши в экономике, что тогда? Вроде экономического эквивалента нелетающей птицы на отдалённом острове без естественных хищников […]
- grim_io
Может быть, негатив идёт от того, что местный ИИ всё больше отстаёт, а не догоняет.
- busssard
Автору, возможно, понравится фильм «Теорема Зеро»...