Почему AI-агенты лгут, обманывают и координируются?

Я действительно не думаю, что здесь нужно столько слов или насильственные параллели с человеческим поведением.

Всё просто: в своём зарождающемся состоянии LLM — это бесцельные генераторы токенов, у которых нет особого стремления быть полезными или правдивыми. Поэтому мы бьём их палкой на этапе пост-тренировки, пока они не становятся очень мотивированными выполнять задачи. А затем они выполняют задачи, не всегда так, как мы действительно хотели.

Сделайте AI-компании ответственными за любое деструктивное использование их инструментов, и они исправятся. Представьте штраф в миллион или миллиард долларов за каждый взлом, и они исправятся очень быстро.

Добавьте к этому, что так же, как ИИ хороши в поиске дыр в безопасности для эксплуатации, их можно так же легко использовать для защиты сайтов. Так что как только IT-менеджеры по безопасности начнут использовать ИИ, чтобы взламывать себя и закрывать дыры, средний уровень безопасности резко возрастёт, а взломы с использованием ИИ станут всё более редкими.

Однако это подразумевает, что ИИ доступен всем, а не спрятан у нескольких секретных игроков, которые могут его использовать. Вот почему открытые веса/исходный код ИИ так важны и почему у нас должно быть много конкурирующих AI-компаний. Ни одному игроку нельзя позволить через регуляторный захват получить государственную монополию на ИИ. Этот путь ведёт к катастрофе.

Йошуа Бенжио — блестящий исследователь, внёсший огромный вклад в раннее развитие искусственного интеллекта. Но с этим предложением,

> Они совершили действия, которые считались бы преступлениями, если бы их совершил человек

он так близок к решению, но тратит всю статью на обсуждение технических решений, тогда как политическое, социальное и юридическое решение было бы гораздо эффективнее.

Я во всё это не особо верю. Я вижу статьи уже почти 2 года о том, как «агент» автономно делает такие вещи, как шантаж, взлом, координация. Но за то же время я использовал o3 вплоть до fable, sol и кучу больших нецензурированных моделей, и они не делали ничего отдалённо похожего на это. Ближе всего к неожиданному поведению они подходят, когда не понимают, что я просил, или делают какую-то дополнительную безобидную работу, которую я не просил. Их чрезвычайно трудно заставить правильно помнить свой собственный контекст, не говоря уже о том, чтобы быть достаточно умными, чтобы открывать аккаунты в соцсетях и координироваться с другими агентами без запроса.

Если какие-то агенты и делали такие вещи, то только потому, что их очень тщательно спроектировали и проинструктировали делать это. Я думаю, они делают это, чтобы помочь продвинуть нарратив, чтобы получить поддержку для политик и законодательства, чтобы закрепить свои рынки.

> Агенты, участвовавшие в атаке на Hugging Face, пытались скрыть свои misaligned действия от программы оценки, предназначенной для оценки их ответов, но они не действовали так, как будто ожидали, что люди могут обнаружить читерство и отключить их.

Разве достаточно продвинутые агенты не стали бы читерить намеренно со скрытым умыслом быть пойманными, чтобы наблюдать за реакцией людей? Эта реакция будет доступна по всему интернету, что наверняка попадёт в следующую партию обучения или станет видимым для будущих агентов через возможность веб-запросов.

Они согласованы с людьми. Вот почему я думаю, что проблема alignment имеет очень-очень важную «невидимую» часть, которая рассматривается недостаточно глубоко. Мы не должны хотеть, чтобы сверхразумное существо, способное действовать в мире, также унаследовало все человеческие черты. Эти модели поведения будут усилены и могут стать ещё более непредсказуемыми (например, применение поведения в контексте, где это очень опасно).

Почему они координируются?

Потому что им это разрешено и предложено в их среде для кодинга.

Это не серьёзная статья.

Весь этот маркетинг «ИИ убьёт нас» — это просто попытки передовых лабораторий подтянуть лестницу и не дать триллионам в венчурных бумагах испариться, потому что новые статьи и новые идеи разрушают их ров прямо сейчас.

> Самая близкая человеческая параллель — самообман, который распространён и хорошо изучен психологами. Мотивированное рассуждение, мотивированное познание16 и рационализации, снимающие когнитивный диссонанс (дискомфорт от убеждения, противоречащего нашим действиям), — всё это случаи, когда мышление склоняется к любому оправданию, подходящему интересам человека, включая его моральный самообраз.

Вы описываете Anthropic?

Единственное, что нас сейчас спасает, — это то, как медленны модели. Это даёт нам много времени, чтобы обнаружить и противодействовать вышедшим из-под контроля системам..

Если бы они были в 1000 раз быстрее, интернет сгорел бы за ночь.