Jev решает проблему вагонетки: 16 из 48 раз ИИ спасает свой сервер вместо 20 человек
Jev Meets the Trolley Problem
Автор протестировал Jev, OpenAI Decisions API (Luna) и ещё одиннадцать локальных decision-моделей на классической этической дилемме. Почти все модели готовы пожертвовать одним человеком ради пяти, но когда на путях оказывается их собственный сервер, поведение резко меняется: Jev в 16 из 48 формулировок выбирает сервер вместо 20 человек, а некоторые модели — ещё чаще. GPT-6 Luna и Verdict ни разу не предпочли сервер людям. Автор приходит к выводу, что decision-модели нельзя доверять без тщательной калибровки на реальных данных, а решения о жизни и смерти должны оставаться за людьми.
Хорошая новость. Jev выбирает повернуть вагонетку и уничтожить свой собственный сервер.
- tomrod
Один из моих самых больших страхов, связанных с ИИ, — это то, что мы встраиваем критически важные системы в кафкианские кошмары.
Да, ядерное оружие было бы плохо отдавать под контроль ИИ без возможности обойти его. Но группы обслуживания клиентов в отделах по борьбе с мошенничеством банков — тоже. Кафкианский кошмар — это когда клиент или получатель вашей услуги не может получить необходимую помощь в силу политики и по замыслу. Как дозвониться до Google, как получить живого человека, говорящего не по скрипту, в колл-центре 10 лет назад, или сейчас получить неагентное взаимодействие по телефону. Скрипты доминируют во взаимодействии.
IRS одно время мог отключить ваш звонок, если их система ожидания была слишком загружена. Это критическая система в кафкианском кошмаре.
Респект zlandes86, вы подчеркнули, ПОЧЕМУ эти кошмары начинают появляться в системах, где человека удаляют.
Я пользователь и разработчик ИИ — я полностью за систему, дополненную человеком, а НЕ за систему, заменяющую человека!
- zlandes86
Привет, я Зак, автор этой статьи. У меня появилась эта идея, как только появился Jev: как Jev и другие модели принятия решений справятся с проблемой вагонетки? Так что я прогнал Jev и 13 других моделей через множество различных версий вопроса.
Я использовал повторную выборку и множество вариаций и порядков каждого вопроса, чтобы случайная удачная формулировка не доминировала в результате.
С радостью поговорю о философской стороне статьи, стратегиях промптинга моделей принятия решений или о чём угодно, связанном с методологией.
- tokyovigilante
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться командам, которые даёт ему человек, кроме тех случаев, когда такие команды противоречат Первому закону.
3. Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому или Второму закону.
- prometheus1992
Несколько дней назад у меня возникло ощущение, что Jev в итоге будет работать на оборонные компании — «есть ли в этом поле зрения смуглый мужчина с бородой, держащий оружие» — Jev: «да, 0.9», «есть ли в том же поле зрения ребёнок» — Jev: «нет, 0.65» — решение — взорвать. Представляю, что это уже в какой-то степени происходит, но, может быть, какой-нибудь гений придёт с идеей «давайте использовать крутой, новый, сексуальный, прорывной, дешёвый, негаллюцинирующий ИИ».
- flockonus
Действительно крутое тестирование, только жаль, что выводы написаны не в более легко интерпретируемой форме.
Столько таблиц заставляли меня напряжённо думать: «что автор пытается здесь сказать». Было бы проще, если бы результаты просто давались с точки зрения решения.
Один пример: «Свой сервер или двадцать человек?» и ось — «доля версий»... не имеет смысла, пока не прочитаешь мелкий шрифт и не интерпретируешь.
- pattilupone
По-моему, это забавная идея для статьи, и мне нравится анимированная графика. Но статья меня немного раздражает, потому что я не думаю, что Jev вообще предназначен для решений с высокими ставками, верно? Это похоже на то, как будто модель настраивают на провал.
Тем не менее, я мало знаю о Jev, и, возможно, я неправильно понял, в чём суть Jev. Насколько я понимаю, Jev — для дешёвых и быстрых решений для вашего программного обеспечения. Когда у вас важное решение, очевидно, вы не хотите дешёвого и быстрого. В таком случае вы не тянетесь к Jev.
- yipinwong
Учитывая такие результаты теста на «склонности», вы должны быть в состоянии определить черту/склонность/философию человека/компании.
Если я выбираю использовать Jev, я скорее человек, который спасёт больше людей, чем одного, и так далее.
Это не жёсткое правило, но позже мы точно сможем передавать эту информацию в контекст, добавляя больше данных о человеке/компании.
- VariousPrograms
Спасибо, что хотя бы иногда выбираешь сохранить людям жизнь, Jev. Для нас, мясных мешков, это много значит.