Los LLM rompen más archivos PHP de los que arreglan al modernizarlos
When Modernization Breaks Working Code: A Study of LLMs on Legacy PHP
Un estudio con cinco LLM pidió modernizar 100 archivos PHP de WordPress 4.0 a PHP 8.3 sin contexto de proyecto ni retroalimentación de ejecución. El resultado es contundente: 83 archivos originales ya pasaban todas las comprobaciones, pero el mejor modelo solo deja 59 intactos. Cada LLM rompe entre 32 y 51 archivos funcionales y repara como máximo 10, mientras que la herramienta Rector rompe 7 y repara 6. Solo el 7 % de los hallazgos exige cambios reales bajo PHP 8.3.
Solo 37 hallazgos (el 7 por ciento) requieren un cambio bajo PHP 8.3; sin embargo, en archivos compatibles que no necesitan ningún cambio, los LLM rompen entre el 36 y el 60 por ciento (Rector: el 8 por ciento).