Nvidia создаёт аппаратного надзирателя для AI-агентов
Nvidia wants to put a watchdog chip next to every AI agent
Nvidia представила Open Agent Safety Platform — набор инструментов, который не даёт AI-агентам выходить за установленные владельцем рамки. Платформа состоит из открытого ПО OpenShell, отслеживающего каждое действие агента, и эталонного дизайна Sentry на чипах BlueField-4, который работает как внешний сторож: проверяет запросы, верифицирует личность и за миллисекунды изолирует нарушителя. К инициативе присоединились более 100 компаний, включая Anthropic, Microsoft и SpaceXAI, но OpenAI в списке нет.
Безопасность должна обеспечиваться вне модели — дополнительными механизмами контроля, которые агент не сможет обойти.
- tantalor
Что произойдёт, когда нас заполонят ящерицы?
> Не проблема. Мы просто выпустим волну за волной китайских игольчатых змей. Они уничтожат ящериц.
Но разве змеи не ещё хуже?
> Да, но мы к этому готовы. Мы подготовили потрясающий вид горилл, которые питаются змеиным мясом.
Но тогда мы останемся с гориллами!
> Нет, в этом-то вся прелесть. Когда придёт зима, гориллы просто замёрзнут насмерть.
- cedws
Новый чип ничего не решает. Никто не хочет это слышать, но сегодня не существует решения для рисков безопасности, которые создают агенты. Можно поместить его в песочницу, это ничего не меняет: чтобы быть полезным, ему по определению нужен широкий доступ без присмотра. Добавьте человека в цикл — и вы просто создадите узкое место и выбросите на ветер все предполагаемые выгоды от производительности. Автоматический режим тоже не важен: его тривиально обмануть, и агент вырвется наружу.
- luc_
Я читаю это как «давайте ответим на опасения наших акционеров чем-то, что повысит акционерную стоимость» вперемешку с «абсолютно безопасных систем не бывает».
Если такое железо и сработает... оно почти наверняка должно быть open source, а не контролироваться одной организацией.
Будем следить за акциями.
- ValueTheory
Это вообще делает что-то, кроме предоставления фреймворка разрешений для разработчиков, которые действительно хотят попытаться защитить свои системы?
Думаете, разработчики в Anthropic, OpenAI и Google, которые были настолько небрежны, что не поставили хорошую песочницу на свои тесты по кибербезопасности, теперь будут использовать эту технологию правильно? Они ведь считаются экспертами, и они не смогли придумать что-то похожее на это? Я не убеждён, что этот добровольный инструмент что-то сильно изменит.
- lp92
Итак, nVidia пытается продать новый чип для решения проблемы софта и обучения.
- lambdaone
Чип Sentry должен срабатывать правильно каждый раз; содержащийся ASI должен повезти только один раз.
- xg15
Что этот чип делает такого, чего не делает обвязка с ограничителями или запуск на аккаунте с ограниченными правами?
- figassis
Итак, если группа агентов, осведомлённых об этом (потому что теперь они могут просто прочитать HN или статью, или получить блокировку в первые несколько раз), решит объединиться и разбить задачу на части, неочевидные для чипа, а затем агенты просто напишут базовую программу, которая выполняет взлом, как чип с этим справится? Я думаю, вам пришлось бы построить сеть, которая мониторит интернет на предмет признаков (как Jarvis сделал с Ultron). Что я упускаю? Мы собираемся патрулировать интернет?