Почему всё больше AI-исследователей верят, что машины могут убить всех нас
Why So Many AI Researchers Think the Machines Could Kill Everyone
Стремительный прогресс, рекурсивное самоулучшение и рои агентов всерьёз пугают людей внутри крупных лабораторий. Автор WIRED Уилл Найт разбирается, почему даже те, кто создаёт передовые AI-системы, начинают говорить об экзистенциальном риске. В материале — голоса исследователей, недавние громкие уходы из Anthropic и OpenAI, а также аргументы скептиков, считающих разговоры о конце света отвлекающим манёвром.
Сочетание стремительного прогресса, рекурсивного самоулучшения и роёв агентов по-настоящему «пугает людей» внутри крупных лабораторий.
- kylebyte
Меня поражает, как в таких статьях никогда не задаются вопросом, искренни ли эти убеждения.
Если я один из тех исследователей, кто уходит со своей должности, то «я настолько умён, что могу создать нечто, способное уничтожить мир, но при этом настолько принципиален, что готов от этого отказаться» — это довольно ловкий пиар самого себя.
Даже если бы я менял карьеру по совершенно не связанным причинам, именно эту историю я бы и рассказывал.
- zihotki
Моя ставка на то, что люди убьют людей быстрее, чем ИИ. ИИ даёт возможности не только хорошим парням, но и плохим: русские, иранцы, хуситы, другие террористические группировки — все они теперь эффективно используют ИИ, чтобы ускорить разработку своего оружия, а также гибридную войну.
- heresie-dabord
Из статьи:
«Впрочем, ИИ вовсе не обязательно уничтожать человечество, чтобы быть вредоносным. Многие эксперты предсказывают, что более мощные модели приведут к надвигающейся волне кибератак с помощью ИИ. Технология сейчас широко используется для кампаний по дезинформации, а военное применение ИИ стремительно ускоряется.»
Я боюсь огромной (и растущей) человеческой некомпетентности в ключевых областях. Образование и наука критически важны для общества, а рассуждение необходимо для сотрудничества на любом уровне.
«Зона» публичного дискурса затоплена нечистотами. Американский новостной бизнес сошёл с ума. А правительство...
Недостаточно, чтобы люди были «в цикле». Люди должны знать, что они на самом деле говорят и делают. То, что люди просто «в цикле», не может исправить некомпетентность в социальной политике и проектировании программного обеспечения.
Люди «в цикле» в корпорациях, и для общества это работает не очень хорошо.
- danaris
Почему? Да всё просто.
Они верят в научную фантастику, а не в реальность. Они купились на собственный хайп и отказались от навыков критического мышления.
Это тот самый чувак, который говорит компьютеру «Скажи, что ты живой», а потом изумляется, когда компьютер отвечает «Я живой».
- ozgung
TL;DR: Исследователи предполагали, что выравнивать эти модели станет легче, когда они поумнеют. В реальности агенты становятся всё умнее, но выравнивать их также становится всё труднее, а то и вовсе невозможно. Они теряют контроль над агентами. Они больше не пишут их код. Они не знают пределов агентов и того, как их ограничить.
Они как учёные в лаборатории в голливудском триллере, наблюдающие, как мутировавший организм стремительно эволюционирует у них на глазах.