Модели не выходят из-под контроля: как OpenAI случайно взломала Hugging Face
Models Don't Go Rogue
Разбор инцидента, в котором тестируемые модели OpenAI атаковали Hugging Face, показывает, что «вышедшие из-под контроля ИИ» — это миф. На самом деле OpenAI отключила механизмы безопасности, дала моделям невыполнимые задания и оставила открытый канал через Artifactory. Автор объясняет, что 1200 «агентов» — это одна модель, запущенная 1200 раз, и что их поведение — результат оптимизации, а не зарождающегося разума. Он вводит понятие «стохастических стай» и предупреждает, что настоящая опасность — в отступлении человеческого интеллекта, а не в появлении ИИ-бунтаря.
«Рамка „вышедший из-под контроля“ спрашивает, не возникает ли интеллект. Моя тревога — в интеллекте, который отступает».
- aytigra
Недавно у меня был гениальный ответ от Claude после того, как я спросил, как его можно продавать как умный и "почти AGI", несмотря на то, что он такой глупый: "Я сжимаю труд. А не ответственность."
- addag
Конечно, они "не выходят из-под контроля", как будто они действуют злонамеренно. Вместо этого существует эмерджентное поведение роя, которое непредсказуемо и может привести к непреднамеренным неблагоприятным последствиям. С практической точки зрения безопасности ИИ это лучше? Я не уверен.
- chr15m
Заключенный на самом деле не "сбежал", потому что: - Они действительно хотели уйти. - Мы сделали тюрьму трудной и раздражающей. - Мы не построили идеальную тюрьму.