概要 物体検知やセグメンテーションは今まで学習した画像認識より複雑なタスクになる モデルの精度を測定するためには適したデータセットを選択する必要がある また性能を評価する指標も理解する必要がある 物体検知のフレームワークは色色あるため用途によ…

概要 Tranformerは機械翻訳を目的としたモデルがあったが、非常に汎用性のあるモデルであるため現在では画僧認識や様々な用途で使用されている 構造自体はEncoder-Decoderである TranformerはAttention、Residual Connection、Layer Normalizationなどの技術…

概要 現在もより精度よく、より高速で、より軽量になるようなモデルが開発・研究されている 最新のモデルや論文を知っていることは大切である この章では以下の項目を学んだ ・MobileNet ・DenceNet ・Layer正規化/Instance正規化 ・Wavenet ・GhostNet(appe…

概要 様々な深層学習モデルがあるが、実社会で使用するとなると軽量かつ高速化にする必要がある 軽量化・高速化には様々な技術があり用途によって選択する必要がある 複数の計算資源(ワーカー)を使用やデータ並列化、モデル並列化、GPUによる高速技術は不可…

概要 Alpha Goは深層強化学習を活用したものであり、長らく世界最強だった囲碁棋士イ・セドル九段を破ったGoogleの囲碁プログラムである Alpha GoはPolicyNetとValueNetの組み合わせで構築されている 「モンテカルロ木探索」が活用されている Alpha Goの進化…

概要 強化学習は報酬をもとによりよい行動を探す手法である 方策関数や行動価値関数が使用されている 様々な実用例がある この章では以下の項目を学んだ ・強化学習の基本 ・強化学習の応用例 ・探索と利用のトレードオフ ・強化学習のイメージ ・強化学習の…

概要 Attention Mechanism(以下、Attention)は現在ほぼ全ての領域で使用されているTransformerの元ネタになっている Encoder-Decoderモデルの限界を解決した 構造事態はEncoderとDecoderの組み合わせである この章では以下の項目を学んだ ・Attentionの基本(…

概要 Word2vecは単語の分散表現の目指した手法である one-hotで単語表現すると次元数が異常に高くなる問題を解決できる Word2vecでは分散表現を得るというタスクと別問題を解くことで本来の目的を達成する この章では以下の項目を学んだ ・Word2vecの基本 ・…

概要 Sequence to Sequence(以下、Seq2seq)は翻訳技術が大きく向上させた技術である つまり1つの入力(文章)を入れて1つの出力を出すモデルである Encoder,Decoderが使用されている Seq2seq以降も改良されたモデルが開発されている この章では以下の項目を学…

概要 双方向RNNはLSTMやGRUの発展型である 過去の影響だけでなく、未来の情報を参照することでより、精度が良い予測ができるようになる ・双方向RNNの基礎 ・演習チャレンジ ・双方向RNNの順伝播(appendix) ・双方向RNNの逆伝播(appendix) ・双方向RNNの出力…

概要 Gated recurrent unit(以下、GRU)はLSTMの課題を解決したモデルである LSTMよりもパラメータ数が少なく、よりシンプルなモデルである この章では以下の項目を学んだ ・GRUの基礎(確認テスト2つ含む) ・演習チャレンジ GRUの基礎 LSTMはCNN,入力ゲート、…

概要 Long short-term memory(以下、LSTM)はRNNの問題を解消したモデルである ゲートといわれる機能を組み合わせている この章では以下の項目を学んだ ・LSTMの基礎(確認テスト1つ含む) ・演習チャレンジ ・CEC ・入力ゲートと出力ゲート ・忘却ゲート(確認…

概要 再帰型ニューラルネットワーク(以下、CNN)は時系列データに対応可能なNNである 過去の中間層の出力を参照することで時系列データに対応している CNNにはBackpropagation Through Time(以下、BPTT)を活用している この章では以下の項目を学んだ ・AlexNe…

概要 CNNは現在でも様々な改良モデルが研究・開発されている 最新のモデルがどのような構造であるかを把握することは大切である この章では以下の項目を学んだ ・ILSVRC(appendix) ・AlexNet ・GoogLeNet(appendix) ・VGGNet(appendix) ・ResNet(appendix) I…

概要 畳み込みニューラルネットワーク(以下、CNN)は顔認識で使用されている CNNは通常のNNではないような機能をもったレイヤーがある この章では以下の項目を学んだ ・CNNの構造 ・畳み込み層 ・パティング ・ストライド ・チャンネル ・プーリング層(確認テ…

概要 過学習は深層学習において重要な問題である。過学習が起きている状態では未知のデータに精度よく予測することができない 過学習を防止するまでに様々な方法がある この章では以下の項目を学んだ ・過学習の基礎 ・正則化(確認テスト2つ含む) ・例題チャ…

概要 パラメータを出来るだけ早く、より正確に終わらせるために様々な方法な方法が考案されている 重みを調整する方法や学習率を調整する方法がある この章では以下の項目を学んだ ・モメンタム ・AdaGrad ・RMSProp ・Adam(確認テストを1つ含む) ・ハンズオ…

概要 勾配消失問題は深層学習において重要な問題である。 その問題を解決するために活性化関数、初期値の設定やバッチ正規化などがある この章では以下の項目を学んだ ・勾配消失問題の基礎(確認テスト1つ含む) ・活性化関数(確認テスト1つ含む) ・初期値の…

概要 パラメータの更新氏は誤差逆伝播が用いられる この章では以下の項目を学んだ ・誤差逆伝播の計算方法 ・ハンズオン 誤差逆伝播の計算方法 誤差逆伝播とは算出された誤差を出力層側から順に微分し、前の層前の層へ伝播する 誤差逆伝播のイメージ 最小限…

概要 NNにおけるパラメータ(w,b)を最適化することが目標である 最小化する様々な方法がある またディープラーニングはパラメータを計算するために多量の計算が必要であるため開発環境が重要となる ・勾配降下法(確認テスト1つ含む) ・学習率、収束性向上のた…

概要 NNにおいて出力層は最終層となり、中間層のから受け取った値を人間が欲しい値に変換する また予測した値はと正解を比較されて誤差関数としてパラメータの学習に使用される 出力層では、中間層の活性化関数とは異なる活性化関数も使用されている この章…

概要 活性化関数はNNにおいて重要な項目である 活性化関数によってモデルの表現を持たせることができる 活性化関数は様々なものが使用されているが、構築するNNによって使用する活性化関数も違ってくる 活性化関数の効果で一部の出力は弱く、一部は強く伝播…

概要 ニューラルネットワーク(以下、NN)は人間の脳を模倣したネットワークである NNは入力層、中間層、出力層からなり、中間層を多くして、パラメータを調整することでより複雑なタスクに対応することができる NNでは以下のような回帰問題、分類問題に対応で…

概要 機械学習モデルの1つであるサポートベクトル・マシン(以下、SVM)について学習した この章では以下の項目を学んだ ・SVMの基礎 ・マージンの最適化問題 ・不等式制約付き最適化問題 ・カーネルトリック ・不等式制約付き最適化問題を手計算(appendix) SV…

概要 分類問題のための機械学習手法を学んだ この章では以下の項目を学んだ ・最近傍法 ・k近傍法(k-nn) ・syntheticデータのハンズオン ・k平均法(k-means) ・syntheticデータのハンズオン 最近傍法 教師あり学習の分類手法 新しいデータを置いた時に訓練デ…

概要 データの分析や機械学習の特徴量製作において重要となる主成分分析について学習する この章では以下の項目を学んだ ・主成分分析の基礎 ・最適化問題の解き方 ・寄与率、累積寄与率 ・乳がん検査データでのハンズオン 主成分分析の基礎 多変量のデータ…

概要 機械学習モデルの中でも分類問題(クラス分類)ができるロジスティクス回帰モデルを学んだ この章では以下の項目を学んだ ・分類問題 ・分類問題へのアプローチ ・ロジスティクス回帰モデルの基礎 ・最尤推定 ・パラメータ推定(勾配降下法、確率的勾配降…

概要 機械学習モデルの一つである非線形回帰モデルについて学ぶ この章では以下のような項目を学んだ ・非線形回帰モデルの基本 ・パラメータ推定 ・バイアスとバリアンスのトレードオフ ・モデルの汎化性能を測定方法 ・ハイパーパラメータチューニング ・…

概要 機械学習モデルの一つである線形回帰モデルを知識ベースと実際にデータに触れながら学ぶ この章では以下の項目を学んだ ・課題解決としての機械学習 ・回帰問題の基礎知識 ・モデルの説明 ・パラメータの推定 ・モデルの評価 ・ボストンの住宅データセ…

概要 データの扱い方は機械学習や深層学習を扱ううえで重要である この章では以下の項目を学んだ ・自己情報量 ・シャノンエントロピー ・カルバック・ライブラー ダイバージェンス ・交差エントロピー 自己情報量 あることがどれほど起こりにくいかを表す尺…