La universalidad del entrenamiento de redes neuronales con descenso de gradiente
Universality of Gradient Descent Neural Network Training
Este artículo explora si siempre es posible rediseñar una red neuronal para que se entrene bien con descenso de gradiente. El resultado principal es un teorema de universalidad: si existe algún algoritmo que encuentre buenos pesos para una tarea de clasificación, entonces existe una extensión de la red que reproduce esos pesos y su salida mediante un simple entrenamiento con descenso de gradiente. Aunque la construcción no es práctica, ofrece una orientación valiosa sobre las posibilidades del meta-aprendizaje y enfoques relacionados.
Si, para una red dada, existe algún algoritmo que pueda encontrar buenos pesos para una tarea de clasificación, entonces existe una extensión de esta red que reproduce estos pesos y la salida correspondiente mediante un simple entrenamiento con descenso de gradiente.