- ニューラルネット(5) 順伝搬と逆伝播
 順伝搬では各層を通過するごとに入力合計を非線形関数に入れて計算する
 変数が膨大である場合、変数全体を連続量として考えればこれは「積分」に相当する
 Σの代わりに∫と考えれば、逆伝播は「微分」ということになる
 順伝搬では積分の累積が行われ、逆伝播では微分しながら累積をほどいていく
 これは「自動微分」と言われるグラフを使って微分/積分を行う手法だ
 「自動微分」を知らないとなぜ順伝搬や逆伝播が有効なのかわからない