OpenAIの最新モデル、COBOL移行の正答率を5.4%から97.9%へ
Advanced coding in low-resource programming languages
銀行やATMを支えるCOBOL、天気予報や原子炉の安全解析に使われるFortranなど、学習データの少ない言語でのコーディング能力をOpenAIが大きく改善した。SQLite互換エンジンを20言語でゼロから作るMultiLangBenchでは平均合格率が26.8%から87.4%に上昇。COBOLの移行評価でも、低推論設定で86.6%、高推論設定では97.9%に達し、評価がほぼ飽和状態に近づいた。
COBOLの固定小数点演算は、丸めを明示的に指定しない限り余分な小数桁を切り捨てる。ここを四捨五入するように書き換えると、エラーなく動作しながら財務結果が変わってしまう。