Explorative Modellierung: Trainieren auf den besten von K Vermutungen
Explorative modeling: Train on the best of K guesses
Explorative Modellierung (XM) ist ein neues Paradigma für generative Modelle, das als dritte Pretraining-Achse fungiert und End-to-End-Generierung ermöglicht. Durch Erhöhung der Exploration K verbessern sich bestehende Modelle für Bilder, Video und Sprache monoton – mit wachsenden Gewinnen bei mehr Daten (7%→36%) und Parametern (13%→23%). XMs erreichen 6,2-fache Sample-Effizienz, 4,1-fache FLOP-Effizienz und 47% bessere Parameter-Effizienz. Als End-to-End-Modelle erreichen XMs die Leistung von Diffusionsmodellen bei Kontrollaufgaben mit bis zu 256× weniger Inferenzrechenaufwand.
Wenn eine Vorhersage viele gültige Antworten hat, ist die beste einzelne Vorhersage ihr Durchschnitt – und der Durchschnitt von Daten ist im Allgemeinen eine schlechte Antwort, die nichts mit den echten Daten zu tun hat.