勾配降下法によるニューラルネットワーク訓練の普遍性

Universality of Gradient Descent Neural Network Training

ニューラルネットワークの設計選択が最適化の成否を左右することはよく知られています。本論文では、任意のネットワークに対して、勾配降下法でうまく訓練できるように再設計することが常に可能かどうかを考察します。その結果、ある分類タスクで良い重みを見つけるアルゴリズムが存在するならば、その重みと対応する出力を勾配降下法だけで再現できる拡張ネットワークが存在するという普遍性定理を示します。この構成は実用的ではありませんが、メタ学習や関連アプローチの可能性を示すものです。