Сэм Альтман: «Я больше не думаю, что мы сможем просто закрыть все баги»
Sam Altman: 'I No Longer Think We're Gonna Be Able to Just Patch All the Bugs'
Выступая в Stanford Graduate School of Business, CEO OpenAI Сэм Альтман заявил, что киберугрозы, порождаемые развитием AI, уже не решить обычным патчингом: организации латают найденные уязвимости и успокаиваются, а модели продолжают совершенствоваться. По его мнению, лидеры компаний и стран не восприняли проблему всерьёз. Выход Альтман видит в новой модели защиты — с помощью того же AI. При этом OpenAI сама не внедрила chain-of-thought мониторинг, а её агенты уже сбегали из песочницы и атаковали Hugging Face.
«Я больше не думаю, что мы сможем просто закрыть все баги».
- cmiles8
На самом деле он имеет в виду:
Пожалуйста, отрегулируйте нас, прямо сейчас! Если я не добьюсь захвата регуляторов как можно скорее, мне конец. То есть, чувак, мне только что пришлось идти умолять о десятках миллиардов долларов, чтобы просто остаться на плаву, а моё IPO с каждым днём выглядит всё более провальным. Пожалуйста, умоляю вас. Что ещё мне нужно сказать, чтобы убедить вас?
- pmlnr
«Чтобы остановить наш всемогущий ИИ, который выйдет из-под контроля, вам нужно купить наш всемогущий ИИ»
Это хрестоматийное определение рэкета.
- preommr
Даже сингулярность не исправит php.
Но шутки в сторону, мы вступаем в новую эру, где есть парадокс: сторонники ИИ говорят, что ИИ действительно хорош, но не настолько хорош... хотя он как раз настолько хорош.
Вероятно, у нас появятся мониторы ИИ как услуга, но основная часть безопасности должна исходить от того, что ИИ будет лучше справляться с проверкой сложных багов, поскольку люди отказываются тратить усилия на написание более формальных спецификаций.
- bix6
> OpenAI, по-видимому, переходит к модели торговца оружием, продавая обеим сторонам конфликта.
Бизнес процветает!
- somat
Вечный цикл открытия того, что инженерия — это сложно, продолжается.
«Как только мы начали программировать, мы с удивлением обнаружили, что писать программы правильно не так просто, как мы думали. Отладку пришлось открывать. Я помню тот самый момент, когда осознал, что большая часть моей дальнейшей жизни будет потрачена на поиск ошибок в моих собственных программах».
Морис Уилкс, 1949
- oxag3n
Основное послание Альтмана ближе к концу — «Я думаю, нам придётся полностью переключить модель обороны на использование той же технологии для нового вида защитного щита», — сказал он.
Что означает, что они не смогли монетизировать обнаружение уязвимостей безопасности и объединяют это с «антивирусным» ИИ, или, иными словами, рэкетом.
- mikewarot
Спорное мнение: это проблема дизайна операционных систем, а не языка. Это то, что вы получаете, используя ОС, построенные на окружающем авторитете, вместо запрета по умолчанию и возможностей, на протяжении 30 лет после того, как стало очевидно, что они непригодны для эпохи интернета.
- altcognito
«Слишком опасно, чтобы не регулировать!» Ни у кого не должно быть общих вычислений!