LLM-«модернизация» ломает рабочий код: лучшая модель испортила 32 файла из 100

When Modernization Breaks Working Code: A Study of LLMs on Legacy PHP

Исследование пяти LLM на 100 PHP-файлах WordPress 4.0: модели просили обновить код до PHP 8.3 без контекста проекта. Результат: 83 нетронутых файла проходят все 630 поведенческих проверок, а лучшая модель оставляет лишь 59. LLM ломают от 32 до 51 рабочего файла, чиня при этом не более 10, тогда как Rector ломает 7 и чинит 6. Лишь 7% замечаний требуют изменений под PHP 8.3, но в совместимых файлах модели ломают 36–60% (Rector — 8%). Авторы советуют сравнивать с baseline без изменений и раздельно оценивать модернизацию и сохранение поведения.