El método de mínimos cuadrados resuelve la varianza explosiva de las medias de exponenciales

Exploding variance of means of exponentials: least-squares to the rescue

Estimar funciones log-sum-exp con muestreo es problemático: la varianza relativa del estimador crece exponencialmente con σ². Francis Bach propone un marco basado en f-divergencias que descompone la divergencia KL en una integral continua de problemas de mínimos cuadrados, cada uno con solución lineal cerrada. El resultado son estimadores espectrales de forma cerrada para problemas de máxima verosimilitud como la regresión logística o softmax, evitando la optimización convexa y la inestabilidad estadística.