Взрывная дисперсия при оценке экспоненциальных средних: спасает метод наименьших квадратов
Exploding variance of means of exponentials: least-squares to the rescue
Оценка log-sum-exp функций через сэмплирование страдает от экспоненциально растущей дисперсии при больших значениях потенциала. Автор предлагает новый подход на основе f-дивергенций и взвешенных хи-квадрат расхождений, который сводит задачу к параллельному решению континуума задач наименьших квадратов. Для линейных моделей это даёт замкнутые формулы через моменты признаков, что позволяет избежать оптимизации выпуклых функций, таких как логистическая регрессия или softmax.
Мой новый подход можно резюмировать одним интегральным уравнением t log t – t + 1 = ∫_0^1 ((t-1)^2)/(ρ t + 1-ρ) (1-ρ) dρ, которое проверяется обычными приёмами интегрирования.