지수 분포의 평균에서 분산이 폭발할 때, 최소제곱이 구원투수로 나서다

Exploding variance of means of exponentials: least-squares to the rescue

log-sum-exp 함수의 추정은 분산이 지수적으로 폭발하는 문제를 안고 있다. 프랜시스 바흐는 f-divergence의 적분 표현을 활용해, 가중 카이제곱 divergence를 병렬 최소제곱 문제로 바꾸는 새로운 프레임워크를 제안한다. 이를 통해 KL divergence를 포함한 다양한 f-divergence에 대해 닫힌 형태의 해를 얻을 수 있으며, 기존의 불안정한 몬테카를로 추정을 대체할 수 있다.