概要 現在もより精度よく、より高速で、より軽量になるようなモデルが開発・研究されている 最新のモデルや論文を知っていることは大切である この章では以下の項目を学んだ ・MobileNet ・DenceNet ・Layer正規化/Instance正規化 ・Wavenet ・GhostNet(appe…

概要 様々な深層学習モデルがあるが、実社会で使用するとなると軽量かつ高速化にする必要がある 軽量化・高速化には様々な技術があり用途によって選択する必要がある 複数の計算資源(ワーカー)を使用やデータ並列化、モデル並列化、GPUによる高速技術は不可…

概要 Alpha Goは深層強化学習を活用したものであり、長らく世界最強だった囲碁棋士イ・セドル九段を破ったGoogleの囲碁プログラムである Alpha GoはPolicyNetとValueNetの組み合わせで構築されている 「モンテカルロ木探索」が活用されている Alpha Goの進化…

概要 強化学習は報酬をもとによりよい行動を探す手法である 方策関数や行動価値関数が使用されている 様々な実用例がある この章では以下の項目を学んだ ・強化学習の基本 ・強化学習の応用例 ・探索と利用のトレードオフ ・強化学習のイメージ ・強化学習の…

概要 Attention Mechanism(以下、Attention)は現在ほぼ全ての領域で使用されているTransformerの元ネタになっている Encoder-Decoderモデルの限界を解決した 構造事態はEncoderとDecoderの組み合わせである この章では以下の項目を学んだ ・Attentionの基本(…

概要 Word2vecは単語の分散表現の目指した手法である one-hotで単語表現すると次元数が異常に高くなる問題を解決できる Word2vecでは分散表現を得るというタスクと別問題を解くことで本来の目的を達成する この章では以下の項目を学んだ ・Word2vecの基本 ・…

概要 Sequence to Sequence(以下、Seq2seq)は翻訳技術が大きく向上させた技術である つまり1つの入力(文章)を入れて1つの出力を出すモデルである Encoder,Decoderが使用されている Seq2seq以降も改良されたモデルが開発されている この章では以下の項目を学…

概要 双方向RNNはLSTMやGRUの発展型である 過去の影響だけでなく、未来の情報を参照することでより、精度が良い予測ができるようになる ・双方向RNNの基礎 ・演習チャレンジ ・双方向RNNの順伝播(appendix) ・双方向RNNの逆伝播(appendix) ・双方向RNNの出力…

概要 Gated recurrent unit(以下、GRU)はLSTMの課題を解決したモデルである LSTMよりもパラメータ数が少なく、よりシンプルなモデルである この章では以下の項目を学んだ ・GRUの基礎(確認テスト2つ含む) ・演習チャレンジ GRUの基礎 LSTMはCNN,入力ゲート、…

概要 Long short-term memory(以下、LSTM)はRNNの問題を解消したモデルである ゲートといわれる機能を組み合わせている この章では以下の項目を学んだ ・LSTMの基礎(確認テスト1つ含む) ・演習チャレンジ ・CEC ・入力ゲートと出力ゲート ・忘却ゲート(確認…

概要 再帰型ニューラルネットワーク(以下、CNN)は時系列データに対応可能なNNである 過去の中間層の出力を参照することで時系列データに対応している CNNにはBackpropagation Through Time(以下、BPTT)を活用している この章では以下の項目を学んだ ・AlexNe…