ディープラーニングの勉強を進める中で有用だった記事を載せておきます。
勾配法のまとめ記事
私のブログにたどり着く以前に、既に知っている方も多いと思います。
AdaGradから始まり、Adamまで、現在のディープラーニングに使われている最適化手法をそれぞれ比較してまとめてあります。アルゴリズムも掲載されているため、ここを参考に実装することも可能でしょう。
最適化から見たディープラーニングの考え方
オペレーションズ・リサーチ学会のサーベイ論文です。
工学系大学、または大学院レベルの数学がわかれば読み進めることができます。
日本語文も詳しいので、数式が分からなくともディープラーニングの学習の概観をつかむには良いでしょう。Adadeltaなどの最適化手法についても触れられていますし、ドロップアウトや畳み込みなどの操作が最適化の観点からどのような効用を持つかなどが述べられています。
通常の機械学習における最適化の視点
最適化という観点で機械学習を見直と非常に見通しが良くなります。
別個にみえる手法も、繋がりがあること、あるいは最適化しようとしている内容が少し異なるだけであることなどが理解できます。
以下の記事はそのことに関してSVMと対数線形モデルを例に紹介しています。
