ラビットチャレンジ【深層学習day3】～双方向RNN～

概要

双方向RNNはLSTMやGRUの発展型である

過去の影響だけでなく、未来の情報を参照することでより、精度が良い予測ができるようになる

・双方向RNNの基礎

・演習チャレンジ

・双方向RNNの順伝播(appendix)

・双方向RNNの逆伝播(appendix)

・双方向RNNの出力(appendix)

双方向RNNの基礎

過去の情報だけでなく、未来の情報を加味することで、精度を向上させるためのモデル

文章の推敲や、機械翻訳等で実用されている

双方向RNNは以下のような構造をしている

演習チャレンジ

hs = [np.concatenate([h_f, h_b[::-1]], axis=1) for h_s, h_b in zip(hs_f, hs_b)]

この章ではハンズオンとうがないので、以下の項目を調べた

双方向RNNの順伝播

順伝播は以下の式で表すことができる

双方向RNNの逆伝播

逆伝播は以下の式で表すことができる

双方向RNNの出力

出力層は以下の式で表すことができる