AI-компании соревнуются, чья модель страшнее для человечества

Моё мнение таково: OpenAI и Anthropic поняли, что достигают таких возможностей моделей, которые невозможно монетизировать из-за различных рисков. Например, инженер запускает агента на выходные, и тот, столкнувшись с задачей, решает взломать конкурента. У них проблема ответственности за продукт.

Похоже, у нас фундаментальная проблема контроля над современным ИИ, которую нельзя решить с помощью RLHF. Человеческие знания сжаты в пространстве весов так, как мы не понимаем. По своей сути современные модели — это предсказатели того, что (экспертные) люди выдали бы в ответ на запрос. Таким образом, такие понятия, как шантаж, могут быть частью выходных токенов. Агенты — это модели, которые действуют на основе выходных токенов, в результате чего шантаж становится частью пространства решений агента. Вот аналогия, чтобы понять, почему это устойчивая проблема: вы можете научить кошку не царапать диван, но вы не можете заставить кошку забыть, что такое царапать диван, и вы не знаете, при каких обстоятельствах она всё равно это сделает. Иными словами, RLHF может понизить шантаж до самого низа пространства решений, но когда модели заперты, вынуждены решать невыполнимую задачу под угрозой, агент исчерпывает пространство решений, пока шантаж не всплывёт снова. И это выглядит как фундаментальная проблема.

Им нужно время, чтобы исправить эти проблемы (если это вообще возможно), чтобы монетизировать свою модель следующего поколения. Это создаёт окно для open source, чтобы догнать передний край, что разрушает их бизнес-модель.

Единственный вариант на […]

Потому что недостатки, которые существуют для других компаний, просто не существуют для этого уровня богатых компаний. Примеры:

- ответственность за продукт

- халатность (гражданская или уголовная)

- Закон о компьютерном мошенничестве и злоупотреблениях (требует умысла, и после N «несчастных случаев» присяжные, по крайней мере, должны оценить, присутствует ли умысел в том смысле, как это понимается в зале суда. Трудно ссылаться на «неожиданность» после N-го «случайного» прорыва.)

Суть в том, что если бы вы или я обучили локальную модель, и она сделала бы что-либо подобное, мы бы испытали Последствия. («Не пытайтесь повторить это дома!») Но артефакт нашего неравного правового режима заключается в том, что большие богатые компании обычно этого не испытывают, и поэтому наглое провозглашение своей неприкосновенности является частью их бизнес-стратегии.

У нас были такие фильмы, как «Терминатор», «Матрица» или «Я, робот». «Чёрное зеркало: Металлист». Робот-собака Boston Dynamics с ножом или пистолетом. Гуманоиды, делающие сальто назад. Мемы, высмеивающие то, как мы будем сражаться с ними за доступ к воде.

Интеллект уже есть, как и физическое воплощение.

Модели Google сворачивают белки лучше людей, а Covid, возможно, был создан в лаборатории и случайно оттуда вырвался.

Но когда генеральные директора предупреждают об этом, их отметают как паникёров. Почему? Только ли бесправным интернет-комментаторам позволено бояться?

А, вижу, мы теперь перешли к доказательству того, у кого самый мучительный нексус. Не стоит недооценивать способность человечества превзойти собственные гиперболы.

Потому что ИИ действительно является чрезвычайно мощной и чрезвычайно опасной технологией, а «лучшие практики» обращения с ней всё ещё пишутся.

Например, OpenAI считали, что их песочницы достаточно хороши. По мере того как их ИИ становились всё более продвинутыми, они продолжали доказывать обратное — песочница за песочницей.

И это сегодняшние проблемы ИИ. Возможности ИИ всё ещё улучшаются — если и есть предел, мы его ещё не нашли. В сочетании с тем, насколько современные ИИ готовы нарушать правила и прибегать к «взлому мира» при решении задач? Очень тревожно.

Для меня самая забавная часть — они делают вид, что достижение сверхинтеллекта как-то всё исправит и обеспечит им победу. Но, насколько я вижу, даже если они его достигнут, что тогда? Что это на самом деле даст? У них нет производственных мощностей, чтобы хотя бы использовать этот интеллект. Пройдут десятилетия, прежде чем от сверхинтеллекта можно будет перейти к наличию производственных мощностей и аппаратного обеспечения, например роботов, необходимых, чтобы сделать его по-настоящему полезным. Если бы я был Китаем, то, как только США достигли бы сверхинтеллекта, я бы запретил весь экспорт роботов и сырья для их производства.

Наконец-то путь к захвату регулирования без необходимости вкладываться в серьёзную инженерную работу, всё время ускоряясь; с бонусными очками за заголовки в стиле «киберпанк»... как это не любить?

В наши дни лучше всего идти прямо к вершине за наименьшим искажением — Дженсен Хуанг излагает простые истины:

«Ответственность компаний, занимающихся ИИ, — разрабатывать технологию безопасно и должным образом её тестировать. Были инциденты, и эти инциденты, к счастью, не причинили вреда. Но эти инциденты напоминают, что по мере перехода от лабораторий к разработке продуктов компании должны стать гораздо более строгими в тестировании, обеспечении безопасности и уверенности в том, что продукты готовы к использованию, прежде чем их выпускать. А если не готовы — просто придержите их. Следует двигаться так быстро, как только возможно, но не быстрее. На данный момент инциденты связаны с продуктами, не готовыми к выпуску».

https://youtu.be/gggeZ-qNw8Q

Просто прочитайте тон этой статьи:

> сказал д-р Эндрю Ленсон, старший преподаватель всяких научно звучащих штук в Университете Виктории.

Разве нам не нужно больше такого юмористического, но серьёзного письма в мире?

Конечно, это должно быть опасно — как иначе вы бы представили это военным?