AI-код порождает «декогеренцию» — и она может обрушить системы быстрее, чем интеллектуальный взрыв
The Decoherence Trap
Автор вводит понятие декогеренции: накопление в системе локально корректных, но несовместимых моделей, из-за которого стоимость изменений определяется переводом между ними и борьбой с побочными эффектами. Чем быстрее меняется система и чем сильнее она уже декогерирована, тем стремительнее растёт хаос. Люди всегда побеждали это, находя способы делать больше с меньшими затратами, но массовое применение AI производит декогеренцию с неустойчивой скоростью. Это исключает сценарий стремительного рекурсивного самоулучшения, зато ведёт к «коллапсу декогеренции».
Декогеренция растёт относительно скорости изменений в системе и ускоряется тем сильнее, чем более декогерирована система, что даёт лавинообразный экспоненциальный рост.