「動的言語はLLMに効率的」説を検証――ZstdとPandocで実測した結果
What's the best programming language for coding agents?
「動的型付け言語はコードが簡潔でLLMのトークンコストが低い」という広く引用される主張を、著者が独自の評価で検証。Zstdデコーダの実装とPandocのテストという2つの実タスクで、動的/静的言語のパフォーマンスを比較した結果、中程度の努力では動的言語が有利に見えるが、高度な努力では優位性は消え、言語の人気が正の相関を示すことを発見。また、Jのような難解な高密度言語の優位性も再現せず、主流言語の使用を推奨している。
動的型付け言語は一般的に、明示的な型宣言を省略することでコードがよりコンパクトになるため、LLMのトークンコストが低いという主張は、せいぜい漠然と方向性が正しいだけで、特定のケースには当てはまらず、一般的に意味を持つほど強くはないかもしれない。