指数均值方差爆炸：最小二乘来救场

Exploding variance of means of exponentials: least-squares to the rescue

在机器学习中，log-sum-exp 函数无处不在，从概率模型归一化到 Transformer 的平滑近似，它至关重要。然而，当潜在函数取值较大时，基于采样的估计方差会呈指数级爆炸，导致计算极不稳定。本文探讨了一个反直觉的解决方案：利用最小二乘回归（least-squares regression）的统计稳定性。通过将 Kullback-Leibler 散度等 f-散度分解为加权 chi-square 散度的积分，作者构建了一个新的框架，将原本棘手的优化问题转化为一系列闭式求解的最小二乘问题。这不仅保留了 log-sum-exp 的优良性质，还规避了其方差爆炸的缺陷，为谱密度估计提供了更稳健的数学工具。