LLMに「モダン化して」と頼むと動くコードが壊れる——WordPressのPHPで検証

When Modernization Breaks Working Code: A Study of LLMs on Legacy PHP

レガシーなPHPファイルをLLMに貼り付けて「モダン化して」と頼むのは手軽な近道だが、結果は本当に良くなるのか。5つのLLMにWordPress 4.0のPHPファイル100本をPHP 8.3へ書き換えさせ、630の隠れた挙動チェックで検証した。未変更なら83本が全チェックを通るのに対し、最良のモデルでも59本。各モデルは32〜51本の動作ファイルを壊し、修復は最大10本にとどまる。ルールベースのRectorは破壊7本・修復6本で、被害の大半は不要なものだった。