Die Ein-Schritt-Falle in der KI-Forschung
The One-Step Trap (In AI Research)
Rich Sutton, ein Pionier des Reinforcement Learning, warnt in seinem Essay vor einem weit verbreiteten Irrtum: der Annahme, dass ein KI-Agent alle langfristigen Vorhersagen durch Iteration eines perfekten Ein-Schritt-Modells erzeugen kann. In der Praxis führen bereits kleine Fehler zu exponentiell wachsenden Abweichungen, und die Berechnung ist in stochastischen Umgebungen nicht machbar. Sutton plädiert stattdessen für zeitlich abstrakte Modelle mit Optionen und General Value Functions (GVFs), wie in seinen früheren Arbeiten beschrieben.
Das Fazit ist, dass Ein-Schritt-Modelle der Welt hoffnungslos sind, aber dennoch äußerst verlockend und weit verbreitet in POMDPs, Bayes'schen Analysen, Regelungstheorie und Kompressionstheorien der KI.