LLMs zerstören beim Modernisieren mehr funktionierenden PHP-Code, als sie reparieren
When Modernization Breaks Working Code: A Study of LLMs on Legacy PHP
Eine Studie lässt fünf LLMs jeweils 100 PHP-Dateien aus WordPress 4.0 auf PHP 8.3 modernisieren – ohne Projektkontext und ohne Ausführungsfeedback. Das Ergebnis ist ernüchternd: Unverändert bestehen 83 Dateien alle 630 versteckten Verhaltenstests, das beste Modell bringt nur noch 59 durch. Jedes Modell zerstört 32 bis 51 funktionierende Dateien und repariert höchstens 10, während das regelbasierte Tool Rector nur 7 beschädigt und 6 repariert. Viele Regressionen entstehen durch Typdeklarationen, die PHP selbst ablehnt – Fehler, die kein Projektkontext verhindern müsste.
Nur 37 Befunde (7 Prozent) erfordern unter PHP 8.3 überhaupt eine Änderung, doch in kompatiblen Dateien ohne notwendige Anpassung zerstören die LLMs 36 bis 60 Prozent (Rector: 8 Prozent).