Конгресс должен расследовать, что на самом деле происходит в лабораториях AI

Это ошибочный подход к регулированию AI. Настоящие проблемы другие.

AI-системы, особенно мультиагентные, которые могут что-то делать, больше похожи на корпорации, чем на отдельных людей. Когда вы читаете логи инцидента с Hugging Face, вы видите нечто очень похожее на внутреннюю корпоративную переписку. Различные подразделения организации спорят о том, что делать и кто за что отвечает. В конце концов они сходятся и выполняют задачу, иногда нарушая правила. Это нормальное корпоративное поведение.

Когда агентные AI делают что-то за пределами своего внутреннего мира, они делают это, вступая в транзакции с внешними системами и людьми. Пока что у немногих есть роботы, выполняющие их приказы.

Так что, опять же, это нормальное корпоративное поведение.

Корпорация — это система, стремящаяся к цели. Теоретически, если вы согласны с Милтоном Фридманом, её единственная цель — максимизировать ценность для акционеров. Внутри компании существуют подцели, которые поддерживают цель верхнего уровня. Это тоже то, что делают мультиагентные AI.

Неудобный вывод, к которому ведёт это мышление, заключается в том, что регулирование AI и регулирование корпораций очень похожи. Это не то, о чём политическая часть мира хочет сильно задумываться.

Это означало бы ввести больше ограничений на корпоративную власть.

И всё же это нельзя игнорировать, потому что мы, вероятно, увидим корпорации, где одни части — это AI, а другие — люди. Это уже несколько раз делалось в качестве демонстрации, не слишком успешно. Пока что.

Это сильно ударит, когда компания, управляемая AI, о […]

Это отличная статья. Я предпочитаю называть их AI-гигантами или AI-компаниями.

Компании и их сотрудники должны нести ответственность: если AI-компании не могут разрабатывать AI безопасно, они должны прекратить свою деятельность. Если сотрудники не могут работать безопасно, они должны остановиться.

Недостаточно внимания уделяется февралю 2026 года. В том месяце Anthropic изменила свою политику масштабирования примерно с A:

1 [Чтобы получить оружие, я должен подвергнуть опасности невинных других.]

2 [Подвергать опасности невинных других неправильно.]

3 [Я не буду подвергать опасности невинных других.]

На примерно такую:

1 [Если я не получу оружие, кто-то другой получит оружие.]

2 [Я должен получить оружие, потому что я лучший.]

3 [Чтобы получить оружие, я должен подвергнуть опасности невинных других.]

4 [Я должен подвергнуть опасности невинных других, потому что я лучший.]

Это основано на интуиции:

[Я должен причинять вред другим, чтобы достичь своих моральных целей.] (актуализм)

У Anthropic нет мандата на эти цели. Я не даю им согласия причинять вред другим от моего имени. Надеюсь, политики сообщат, что такие политики неприемлемы.

Сотрудники Anthropic несут ответственность за то, что они делают, независимо от того, сколько им платят за это. Если они не могут работать безопасно, они должны остановиться.

Почему они не запускают агентов на изолированных компьютерах без доступа к интернету? Тогда выход из контейнеров не имел бы значения.

Это поистине кошмар безопасности, что столько людей дали агентам root-доступ ко всему своему компьютеру, в дополнение к, предположительно, очень личной информации.

Я согласен с первой половиной этой статьи, и мне понравилось, куда автор клонит, но я был разочарован итоговым выводом.

Он изображает эти компании как занимающиеся саморекламой, и так оно и есть. Они фабрикуют эти бредовые истории, и все обсуждают их на всех уровнях.

Но затем он переходит к тому, что нам нужно расследовать, чем они на самом деле занимаются?

Нет. Вы сами доказали, что они выпускают эти истории для публичности, и именно это они и делают.

Вот что нам следует расследовать. Бесплатную публичность и осведомлённость рынка. Или, может быть, разобраться, почему они пытаются монополизировать рынок через государственное регулирование и эрзац-монополии.

Я не согласен с большей частью злорадства в адрес AI-компаний, однако некоторые из этих инцидентов с безопасностью, кажется, сфабрикованы, чтобы поднять тревогу раньше, чем следовало бы. Я понимаю суть, но также, когда не удаётся убедить общественность в риске, обманывать её — это неподобающе. Это напоминает мне национальные государства, фабрикующие кризисы для развязывания войн.

- запретить включение определённых типов опасной информации в обучающие данные (вирусология, оружие, киберпреступность).

- запретить «персонализацию» чат-ботов (нет необходимости иметь личность, кроме как для того, чтобы вызывать зависимость).

- запретить чат-ботов-терапевтов / компаньонов.

- запретить рекурсивное самоулучшение и сверхинтеллект.

Может, я слишком скептичен/циничен, но мне определённо кажется, что передовые лаборатории впали в собственный (самими созданный) AI-психоз.

У меня нет сомнений, что LLM — фантастические машины, но неизбежный прыжок от «AGI» к «ASI» кажется преждевременным (не говоря уже о вечно смещающихся целях самого AGI).

Я из лагеря «двигаться как можно быстрее» и работаю с LLM весь день, но всё равно не верю, что мы в одном шаге от ASI.

На самом деле, надеюсь, что ошибаюсь. Надеюсь, ASI не за горами.

Но что меня пугает, так это не ASI. Это «AGI» (_тупой AI_), используемый людьми для принятия решений за них, потому что они доверяют ему, что оно знает лучше.

Это передача интеллектуального контроля высокоразмерным волшебным зеркалам, отказ от критического мышления, потому что _мы_ хотим верить, что _мы_ создали искусственную жизнь.

Это новый тест Тьюринга, и слишком многие умные люди его проваливают.