概要
パラメータの更新氏は誤差逆伝播が用いられる
この章では以下の項目を学んだ
・誤差逆伝播の計算方法
・ハンズオン
誤差逆伝播の計算方法
誤差逆伝播とは算出された誤差を出力層側から順に微分し、前の層前の層へ伝播する
最小限の計算で各パラメータでの微分値を解析的に計算する手法である
勾配計算は以下のように計算することができる
<<確認テスト>>
①誤差逆伝播法では不要な再帰的処理を避ける事が出来る。既に行った計算結果を保持しているソースコードを抽出せよ。
delta2 = functions.d_mean_squared_error(d, y)
②2つの空欄に該当するソースコードを探せ
delta1 = np.dot(delta2, W2.T) * functions.d_sigmoid(z1)
grad['W1'] = np.dot(x.T, delta1)
ハンズオン
勾配降下法によって重みやバイアスが偏微分されているのを確認した
