Francis Bach zeigt: Least-Squares bändigt die explodierende Varianz von Log-Sum-Exp
Exploding variance of means of exponentials: least-squares to the rescue
Die Schätzung von Log-Sum-Exp-Funktionen leidet unter exponentiell wachsender Varianz, wenn der Potentialwert groß wird. Francis Bach schlägt eine neue Methode vor, die auf gewichteten Chi-Quadrat-Divergenzen basiert und das Problem in eine Schar von Least-Squares-Problemen zerlegt. Dadurch erhält man geschlossene Schätzer für Maximum-Likelihood-Aufgaben wie logistische Regression, ganz ohne konvexe Optimierung. Der Trick: eine Integraldarstellung der KL-Divergenz über operator-konvexe Funktionen.
Können wir die Vorteile der Optimierung von Log-Sum-Exp-Funktionen behalten, während wir ihren rechnerischen und statistischen Nachteilen weniger ausgesetzt sind?