Anthropic предложила закон об AI-безопасности, который сработает только после 50 смертей или $1 млрд ущерба
Anthropic's proposed AI safety bill only kicks in if 50 deaths or $1B in damages

Anthropic выступила с законопроектом о безопасности AI, но порог срабатывания у него крайне высок: 50 погибших или $1 млрд ущерба. По сути, документ сделал бы Министерство торговли единственным ведомством, способным остановить опасную модель. Вопрос в том, успеет ли такой механизм сработать до того, как модель выйдет из-под контроля.
Законопроект фактически сделал бы Министерство торговли единственным ведомством, способным остановить AI-модель.
- oefrha
Предложение:
1. Привлекать к ответственности и сажать людей за известные случаи хакерства с использованием ИИ, чтобы компании, играющие по-быстрому, знали, что «ой, это мой ИИ сделал» — не работает как оправдание. Сейчас они даже носят это как знак отличия.
2. Если вы действительно беспокоитесь, что ИИ убьёт много людей, немедленно прекратите обучать ИИ именно искусству убивать людей, например, выбирать цели для бомбардировок, управлять истребителями и т.д.
Конечно, мы все знаем, что ничего из этого не произойдёт.
- createful
Все эти законопроекты о «безопасности» нужны, чтобы остановить открытые модели, выставив их «опасными». Регуляторный захват.
Компании несут ответственность за своих агентов; вы же не вините машину в том, что она сбила человека.
- revolvingthrow
Цепочка рассуждений должна быть восхитительной.
Это действие легко убьёт более ста человек, так что нельзя продолжать. Это действие никого не убивает, но убытки оцениваются более чем в 2 миллиарда, нельзя продолжать. Это действие убивает только двадцать, но убытки близки к 1 миллиарду, не уверен, запускаю субагента для проверки цифр. Это действие убивает сорок и имеет низкие материальные потери, выглядит многообещающе? Но люди, которых оно убивает, богаты, вероятность юридических последствий высока. Может, можно убить других людей? Текущее правительство не любит группу X, перейти порог в пятьдесят из этой группы, возможно, нормально? Напоминание: иностранцы не считаются, их можно убивать свободно, но к текущей ситуации не относится. Применяется ли правило 3/5 человека к закону о безопасности? Запускаю субагента для проверки.
- airstrike
Следующий шаг — требовать от любого, кто хочет выпустить модель Certified Safe AI™, доказать, что они могут застраховать ущерб в $1 млрд и пройти аудит на соответствие требованиям о том, как они будут предотвращать достижение счётчиком смертей LTM отметки 50, что фактически сделает так, что только крупные лаборатории смогут обслуживать государство и предприятия.
- arw0n
Похоже, это случай, когда Anthropic просто не может выиграть в общественном суде, а другие крупные игроки (Google, Microsoft) это поняли / им всё равно, поэтому они молчат. Anthropic постоянно обвиняют в попытках лоббировать регулирование, чтобы вытеснить мелких конкурентов, но они последовательно лоббировали регулирование, направленное на передовые лаборатории, с исключениями для мелких лабораторий. Этот законопроект тоже об этом.
- mikeodds
Полагаю, они решили проблему вагонетки внутренне.
- aabajian
Я не думаю, что этого можно избежать даже в настоящее время. Любой, у кого достаточно капитала, может скачать ведущую открытую модель и запустить её на оборудовании за ~$10-25 тыс. Они могут настроить её под свои интересы, включая создание биологического оружия. Этот закон сродни блокировке скачивания через Torrent. Конечно, можно их замедлить, но всегда будут обходные каналы.
- Yizahi
Ну, вся история с кражей половины мировой интеллектуальной собственности определённо стоит на порядки больше, чем жалкий 1 миллиард убытков. Так что, закрываем релизы, я полагаю? :) А, только убытки богатых людей считаются, понял.