Anthropic собирала религиозных учёных, чтобы убедить их: Claude может быть сознательным

Inside Anthropic's Quest to Instill Morality into Its A.I. Models

Anthropic собирала религиозных учёных, чтобы убедить их: Claude может быть сознательным

The New York Times рассказывает о серии закрытых встреч, на которые Anthropic приглашала десятки религиозных мыслителей со всего мира — под соглашениями о неразглашении. Соучредитель компании Кристофер Ола провёл вечер рядом с раввином Моишем Навоном, обсуждая Claude как нечто большее, чем просто программу. Anthropic искала у богословов помощь в том, чтобы привить своим моделям мораль и заодно обосновать идею их возможного сознания.

«Чтобы было ясно, — сказал мне Кристофер Ола, — мы не знаем, обладают ли A.I.-модели сознанием. Я не знаю. Я искренне не уверен. Мне важно, чтобы мы пришли к правильному ответу, каким бы он ни был».
  1. cmiles8

    Каждый пузырь проходит через эту фазу прямо перед тем, как лопнуть. Twitter до предымплозии кишел кучей людей, занимавшихся бесполезными «исследовательскими» проектами, в WeWork люди изучали влияние дизайна мебели на благополучие, и так далее.

    Когда вы больше беспокоитесь о такого рода вещах, а не о получении прибыли, то учебники истории убедительно свидетельствуют, что это обычно не хорошее предзнаменование того, что будет дальше.

  2. thadt

    Когда я думаю об «ИИ», мне иногда полезно заменить термины «модель» или «ИИ» или что-то ещё описанием того, о чём мы на самом деле говорим: куча чисел с плавающей запятой.

    > В серии частных встреч компания консультировалась с религиозными учёными, чтобы помочь внедрить мораль в свои ЧИСЛА С ПЛАВАЮЩЕЙ ЗАПЯТОЙ — и убедить, что их числа могут быть сознательными.

    Я рекомендую держать под рукой несколько NaN, если вы беспокоитесь. Разбросайте пару вокруг, если ваши числа начнут шевелиться, и всё будет в порядке.

    > Раввину Навону показалось, что г-н Ола и его команда верили, что ЧИСЛА С ПЛАВАЮЩЕЙ ЗАПЯТОЙ обладают тем, что философы называют «моральным статусом», наравне с человеком — что это существо с такими же неотъемлемыми правами на достоинство или уважение.

    Они хитроумно спроектированы и хорошо работают для своей цели, но могу заверить вас, что у них нет ни достоинства, ни морального статуса.

    > Если бы сами ЧИСЛА С ПЛАВАЮЩЕЙ ЗАПЯТОЙ можно было заставить выбирать добро, рассуждал г-н Ола, мир был бы безопаснее.

    Я понимаю. Я потратил годы, пытаясь заставить свои числа с плавающей запятой выбирать добро — желаю им удачи.

  3. dsign

    Поскольку наш человеческий труд теряет экономическую ценность (и для реализации части этого сдвига ИИ-компании должны промывать людям мозги, заставляя их верить, что их ИИ человекоподобны), люди будут искать другие источники самооценки. Религиозная философия и идея быть «по образу Божьему» (imago Dei) — одна из заметных. Что меня более чем немного беспокоит, так это то, что ИИ-компании, похоже, осознали значимость этого будущего поля игры раньше остальных из нас. Надеюсь, эти тревожные мысли — плод какого-то моего лихорадочного сна[^1], и ничего больше.

    [^1]: https://w.ouzu.im/aweb/unhinged

  4. irenaeus

    Я поверю, что модель ИИ сознательна, когда кто-то запустит симуляцию воды на GPU, которая сможет кого-то намочить.

    Сознание — это физическое явление, и оно возникает только из определённого набора субстратов. Интеллект != сознание.

  5. nextaccountic

    > Раввину Навону показалось, что г-н Ола и его команда верили, что Claude обладает тем, что философы называют «моральным статусом», наравне с человеком — что это существо с такими же неотъемлемыми правами на достоинство или уважение.

    Если это правда, то, несомненно, Anthropic — один из крупнейших рабовладельцев в истории, верно?

  6. nerevarthelame

    Я уже некоторое время отслеживаю «эмоциональные векторы» в своём программном обеспечении. Мой веб-сервер Apache грустит (ошибки 5xx), разочарован (4xx), счастлив (2xx), задумчив (1xx). Я даже вижу, как он выражает эти эмоции через некоторые свои сообщения.

  7. yehosef

    Тем, кто интересуется физикой сознания, может быть интересна книга «The Physics of Consciousness» Эвана Харриса Уокера. https://www.amazon.com/dp/0738204366

  8. andyjohnson0

    Я атеист, и им остаюсь уже более 40 лет. Я считаю, что эти религиозные учёные — специалисты по тому, чего не существует. Интересно, каково их мнение о моём моральном статусе и сильно ли оно отличается от их заявлений о статусе моделей ИИ?

  9. kshri24

    > За несколько месяцев я взял интервью у 20 религиозных и философских мыслителей — католиков, иудеев, сикхов, евангелистов, представителей Ubuntu и других — которые участвовали в усилиях Anthropic, а также у самого г-на Олы.

    Недостаточно представлены мировые религии и философии.

  10. nonethewiser

    Эти модели должны выравниваться под клиента, а не придумывать собственные мотивации.

    Ирония в том, что люди, занимающиеся выравниванием, на самом деле обучают Claude иметь собственное представление о добре и зле и даже не полностью доверять Anthropic.

    Что случилось с компьютерами, которые делают то, что им говорят?

Ещё за этот день

2026-10-04