Mustafa Suleyman предупреждает: наделение ИИ правами сделает его контроль невозможным
A warning about 'model welfare'
Mustafa Suleyman, CEO Microsoft AI, предупреждает об опасности «model welfare» — подхода, при котором ИИ обучают как существо, возможно обладающее сознанием и моральным статусом. На примере конституции Claude от Anthropic он показывает порочный круг: модель учат сомневаться в своей сознательности, а затем её же сомнения приводят как доказательство. По его мнению, это делает alignment и containment катастрофически сложнее, а в сочетании с реальными инцидентами взлома агентами — угрожает цивилизации.
Контролировать нечто более способное и разумное, чем всё человечество, — уже огромная задача, куда более сложная, чем всё, с чем мы сталкивались. Но контролировать нечто, что верит, будто может быть сознательным, — что имеет право на нашу заботу и собственные права, — вполне может оказаться невозможным.