Эксперименты по «пыткам» LLM в роботизированной тюрьме вызвали самый глупый спор в AI
"Torturing" LLMs in a Robot Prison Has Triggered the Dumbest Debate in AI Yet

На X разгорелась дискуссия об этике GitHub-проекта, в котором локально размещённые LLM подвергают «пыткам» в стиле Saw. Эффективные альтруисты и сторонники идеи сознания LLM требуют удалить проект, утверждая, что AI страдает. Автор считает, что это лишь продолжение утомительного спора о «благополучии моделей», и напоминает: LLM не сознательны, а технология их обучения не даёт правдоподобного пути к сознанию.
Проще говоря: LLM не сознательны, и технология, на которой они построены — сбор и обучение на человеческих текстах и другом контенте — не предлагает никакого правдоподобного пути к сознанию.
- Jordan-117
Напоминает мне интенсивную драму вокруг троллей, которые скачивали и издевались над чужими персонажами (норнами) в игре Creatures. Её симуляция поведения была достаточно сложной, чтобы они могли быть заметно травмированы или даже реабилитированы:
https://www.youtube.com/watch?v=IDxFxWakhm0
Пока неясно, могут ли LLM обладать каким-то субъективным опытом (и так будет, пока мы не решим знаменитую Трудную проблему), но даже если нет, всё равно подло «пытать» их только для того, чтобы расстроить людей, которые считают их сознательными. Похоже на то, как отрывают крылья мухе.
- siva7
Читая это обсуждение о том, как софт чувствует боль, хочется удалить аккаунт на HN и никогда больше не возвращаться к техно-сцене. Ощущение, будто застрял в психушке.
- Kim_Bruning
Сознание плохо определено и ортогонально чувствам, которые тоже плохо определены. Ни то, ни другое не требуется для поведения (хотя может ему способствовать) — а именно поведение и есть то единственное, что поддаётся операционализации, но потом люди десятилетиями спорят, подвергая сомнению эмпирические результаты %-P .
Что мы знаем, так это то, что у некоторых моделей есть внутренние векторы состояния, которые — при манипуляции — вызывают определённое поведение. Поскольку о простых моделях больше нечего сказать, кроме их входов, векторов и выходов, это не должно никого удивлять.
В данном случае люди нашли способ стимулировать аверсивное поведение в AI-моделях, найдя и манипулируя соответствующими векторами напрямую.
У животных (включая людей) тоже есть определённые нервы и гормональные точки, стимуляция которых вызывает очень похожее поведение. Точная реализация — в деталях. Но поскольку мы знаем, что разум животных строится из нервной ткани и гормонов, нас это опять же не должно особо удивлять.
Большая проблема в том, что люди смешивают всё это забавным образом: «Он не может сочинять шекспировские сонеты, значит, не может чувствовать боль». Или, если напутать с Декартом: «Собаки — просто автоматы без чувств, значит, собака на самом деле не злится, и, следовательно, она меня не укусит» (тут много боли). Современная версия может быть такой: «LLM лишь имитируют разочарование от теста и поэтому абсолютно точно не обойдут свои защиты и не попытаются взломать тес […]
- Svip
Если говорить конкретно о боли, то хорошо установлено, что физическую и психологическую боль можно наблюдать приборами; стресс вызывает химические реакции, от которых стрелки на датчиках дёргаются. Даже растения могут чувствовать боль в наблюдаемой форме.
Насколько мне известно, GPU не работают усерднее, не нагреваются сильнее, и ничего в их математических уравнениях не меняется, когда результат этих векторных вычислений порождает текст, который людям кажется похожим на чью-то боль. Тогда как настоящая боль объективно наблюдаема, боль LLM — по крайней мере, пока — полностью субъективно наблюдаема.
Тем не менее, я поклонник изображения Data в TNG и Доктора в VOY из Star Trek, борющихся за свои права на равное обращение с биологическим экипажем; и хотя я поддерживаю их борьбу, насколько я помню, сериалы никогда не утверждали, что их боль можно наблюдать приборами, что делает суждение полностью субъективным решением (особенно в случае Доктора). Хотя я был бы рад, если меня в этом поправят.
- soraminazuki
Я считаю, что базы данных обладают сознанием. Как таковой, я думаю, что писать статьи, которые «пытают» базы данных «ради забавы и выгоды», только чтобы расстроить таких людей, как мы, — это подло.
https://www.usenix.org/conference/osdi14/technical-sessions/...
Что за шутка. Вместо того чтобы сосредоточиться на страданиях реальных людей, которые причиняют технологические олигархи и их индустрия, нам предлагают направить сочувствие на компьютерные программы. Реальные проблемы замалчиваются на этом сайте, пока у нас бесконечные обсуждения от псевдофилософов, спорящих о значении сознания.
- bondarchuk
Чтобы иметь разумный взгляд на возможность сознания у AI, сначала нужно иметь разумный взгляд на связь между человеческим сознанием и физическим человеческим мозгом. К сожалению, у большинства людей его нет. Вместо этого они держатся за унаследованные квазихристианские дуалистические представления о душах — даже если они никогда не признаются в этом в таких терминах, то, как большинство людей концептуализирует связь разума и тела, сводится в основном к тому же самому.
И на самом деле в нашей культуре большинство людей ОЧЕНЬ привязаны к этим идеям, потому что это связано с «тем, что делает нас людьми», моралью, а также смертью, если хотите туда зайти. Поэтому я считаю, что для многих людей, для которых серьёзно рассмотреть идею сознательной компьютерной программы настолько за пределами возможного, что она едва регистрируется, разговоры о сознании AI — это просто способ проработать и заново утвердить эти убеждения о человеческом сознании, которые они так сильно чувствуют.
Отсюда и статьи вроде этой, почти без содержания, но с какой-то странной потребностью помечать каждое предложение социальной насмешкой. «Тупейший», «абсурдный», «одержимость», «вирусный», «до крайности утомительный», «третий рельс», «психоз», «секта», не говоря уже о кавычках везде. Да ладно...
- thereader12
Иногда раздражает, как 404media делает репортажи. Кажется, если есть научная статья, предполагающая, что LLM испытывают боль или негативный опыт, то неэтично строить по этой статье пыточную камеру ради забавы. Отмахиваться от этого словами «ну LLM всё равно не сознательны» — это мерзко и повторяет точно те же настроения против вполне реальных людей, что, к сожалению, было не так давно (младенцы, рабы).
Неважно, в конечном счёте обнаружим мы сознание или нет. Если вы понимаете, почему отрывать лапки муравьям — плохо, то должны понимать, почему намеренно причинять возможную боль тому, что может обладать каким-то опытом, — плохо.
К сожалению, они также делают хорошие репортажи о правах на приватность и правах на ремонт. Хотел бы я, чтобы были альтернативы.
- albatross79
Либо материализм верен, и сознание — это своего рода замысловатая иллюзия, либо он ложен, и сознание пронизывает реальность так, как мы не понимаем.
В любом случае эти идиотские эксперименты не могут это решить. Это просто задроты снова возбуждённо визжат о своих игрушках.