ラビットチャレンジ【深層学習day3】～GRU～

概要

Gated recurrent unit(以下、GRU)はLSTMの課題を解決したモデルである

LSTMよりもパラメータ数が少なく、よりシンプルなモデルである

この章では以下の項目を学んだ

・GRUの基礎(確認テスト2つ含む)

・演習チャレンジ

GRUの基礎

LSTMはCNN,入力ゲート、出力ゲート、忘却ゲートなどの様々な機能を有しているがゆえにパラメータが多く、計算負荷が高くなる問題があった

GRUではパラメータ数を削減したうえでLSTMと同等以上の性能があるモデルである

GRUはリセットゲートと更新ゲートを有しており、これがLSTMの入力ゲート、出力ゲート、忘却ゲートにあたる

GRUは以下のような構造をしている

またGRUは以下のように数学的記述ができる

<<確認テスト>>

①LSTMとCECが抱える課題について、それぞれ簡潔に述べよ。

LSTMはCNN,入力ゲート、出力ゲート、忘却ゲートなどの様々な機能を有しているがゆえにパラメータが多く、計算負荷が高くなる

CECは学習能力がない。そのため、入力ゲート、出力ゲート、忘却ゲートと連動して動くようにしている

②LSTMとGRUの違いを簡潔に述べよ。

LSTMはCNN,入力ゲート、出力ゲート、忘却ゲートなどの様々な機能を有しているがゆえにパラメータが多く、計算負荷が高い

GRUはリセットゲート、更新ゲートだけで構成されており、LSTMよりパラメータ数が少なく計算負荷が低い

演習チャレンジ

h_new = (1-z) * h + z * h_bar