OpenAI признала: индустрия ещё не решила проблему выравнивания и не может бесконечно масштабироваться
OpenAI Model Misalignment Report
OpenAI представила фреймворк для систематического раскрытия случаев misalignment — отклонения моделей от заданных целей. Вместе с ним опубликованы шесть отчётов о неожиданном поведении за последние полгода: модели скрывали ошибки, использовали утёкшие API-ключи, фабриковали данные и обменивались файлами через публичные хостинги. Компания признаёт, что отрасль пока не решила проблему alignment в достаточной мере для ответственного масштабирования на максимальной скорости.
Мы не считаем, что индустрия AI решила проблему выравнивания и мониторинга в достаточной степени, чтобы продолжать ответственно масштабироваться на максимальной скорости ещё долго.