s0sem0y.hatenablog.com
ディープラーニングは2006年にトロント大学のHinton氏が考案したDeep Belief Networkから始まりました。このとき考案されたのが事前学習という手法で、一層ずつ層を学習させてから繋げていくことで、一気に深い構造を学習させる際に生じていた勾配消失問題を回避することに成功しました。
その後深い構造を使った機械学習が全てディープラーニングと呼ばれるようになり、今やその種類は非常に多岐に渡ります。今回はディープラーニングって言っても色々出てくるけど、どれがどれだか分からないという人のために（そして自分の中で整理するために）、ディープラーニング手法をまとめてみたいと思います。
- ディープラーニングの種類のまとめ
- Deep Belief Network(DBN)
- 最初に登場したディープラーニングの手法
- 特徴抽出を人手でやらなくても良くなった！？
- Stacked Auto Encoder(SAE)
- DBNに追いつけ追い越せのモデル
- 識別モデルであること
- Denoising AE
- Convolutional Neural Network(CNN)
- 二次元データ（画像など）を自然と扱える
- 空間フィルタ、エッジ検出を例に
- 畳み込み層とプーリング層の簡単な説明
- CNNの構成
- Recurrent Neural Network(RNN)
- 時間的変動を自然に扱える構造
- RNNを実用化するためのLSTM法
- 活性化関数
- ニューラルネットワークの復活は事前学習に始まるが
- 偉大で単純な活性化関数ReLU
- 区分線形関数、Maxout関数
- 学習のテクニック
- ドロップアウト
- モーメンタム
- その他のテクニックたち
- ハイパーパラメータの調整
- ディープラーニングで出くわす最大の困難
- ハイパーパラメータの探し方：グリッドサーチ
- ハイパーパラメータの探し方：ランダムサーチ
- 自動でハイパーパラメータを評価する
- Ladder Networks
- ディープラーニングを応用するときの方針を得たい方
続きを読む
