4つのニューロンが報酬と罰だけで光を追う術を自ら学ぶ
A visual explanation of reinforcement learning

光に向かって進む行動を、手作業で配線するのではなく強化学習で身につけさせるインタラクティブ解説。わずか4つのニューロンと3つのパラメータからなる「spark」の脳を、試行ごとにランダムに揺らし、成績が良ければ報酬、悪ければ罰を与えるREINFORCEアルゴリズムで更新する。初心者が2000回の試行を経て光を追う熟練者へと変わる過程を、脳のパラメータ空間を進む軌跡として可視化している。
失敗へと至る道は成功への道よりはるかに多い。それでも、sparkは行き止まりの迷路を抜け、報酬と罰だけを頼りに脳を配線し直して光を見つけ出した。