指数分布の平均の分散爆発を最小二乗法で救う
Exploding variance of means of exponentials: least-squares to the rescue
機械学習で頻出するlog-sum-exp関数の推定は、分散が指数関数的に爆発する問題を抱える。Francis Bachは、KLダイバージェンスの変分表現を重み付きカイ二乗ダイバージェンスの積分で表すことで、最小二乗法による閉形式推定を導出。これにより、従来の最適化に頼らず、安定した統計的推定が可能になる。
興味深いことに、私の新たな試みは一つの積分方程式に要約できる：t log t – t + 1 = ∫_0^1 ((t-1)^2)/(ρ t + 1-ρ) (1-ρ) dρ。これは通常の積分テクニックで確認できる。