書籍紹介：深層学習

深層学習(機械プロフェッショナルシリーズ)

昨年発売された深層学習の書籍を紹介します。

機械学習プロフェッショナルシリーズは、理研の革新知能統合研究センター長の杉山将氏が監修している機械学習全般に関する書籍のシリーズです。現在も着々とシリーズは追加されており、各機械学習の手法に絞って、本一冊を使って解説を行っています。

このシリーズの深層学習は、ディープラーニングの日本語書籍で最も最初に出版された本です。 この本から深層学習に入っていけるように、深層学習の基礎的な考え方を中心に解説されています。実際に深層学習を応用する場合は、理論的な保証はないが様々な経験則を用いて学習を効率的に行う必要があり、それらの基本的な方法も述べられています。

深層学習 (機械学習プロフェッショナルシリーズ)

はじめに

深層学習に至るまでの研究の歴史が簡単にまとめられています。

順伝播型ネットワーク

俗に言うフィードフォワードニューラルネットの話です。ここではニューラルネットの活性化関数と目的に応じた誤差関数の話があります。詳しい学習の方法などは述べず、ニューラルネットの全体像を抑える章となっています。

確率的勾配降下法

勾配法は、誤差関数が小さくなるようなパラメータの変化方向へ少しずつパラメータを修正する方法です。普通は手元にある全てのサンプルデータに対して誤差関数を考えますが、確率的勾配降下法では、サンプルの一部を選択して、そのサンプルのみに対して誤差関数を修正し、次の修正では異なるサンプルを選び同じことを繰り返します。これによって、データが逐次追加されていくようなケースでも学習ができ、更に1回の学習で掛かる時間は短くなります。

この章では、確率的勾配降下法と、更に過学習を防ぐ正則化やドロップアウトなどの学習における実用的テクニックが紹介されています。

誤差逆伝搬法

ニューラルネットを学習するための基本的な方法です。

まずは2層ニューラルネットで具体的な計算を見た後に、一般的にL層のネットワークを扱っていきます。更に最後にはプログラミングで扱いやすいように行列演算としてまとめ直されています。

そこに至るまでの式展開はPRMLなどの有名な書籍よりも丁寧で分かりやすいと感じました。

新たな応用が出てこようとも、この誤差逆伝搬法をどのように工夫するかが議論されているのであって、ニューラルネットワークを学ぶ上でこの部分は避けられない基礎になっています。

自己符号化器

ディープラーニングの主流の1つとなっている自己符号化器について書かれています。

自己符号化器によって事前学習を行うことで、ニューラルネットの適当な初期値が得られ、誤差逆伝搬法による学習がスムーズに行くことが知られています。ニューラルネットの基礎を抑えておけば、数式は難しくないはずです。

スパース正則化やデノイジング自己符号化器など応用の話もあります。

畳込みニューラルネットワーク

畳込みニューラルネットは画像認識で活躍している手法です。

画像といえば2次元のデータを扱うため、データを表す添字が非常に厄介になります。重みもそれに従って添字が増えるため、注意して読まなくてはなりません。最後に画像認識の実例を紹介しています。

再帰型ニューラルネット

フィードフォワードニューラルネットでは結合は出力側に近づく方向にしかありません、一方再帰型ニューラルネットでは、結合が入力の方へ逆戻りする場合があります。時系列データのような、サンプル1つではなく、サンプルの動きに意味があるようなデータに対して応用されます。

RNNの基本を抑え、その後LSTMやHMMとの関連、CTCについても触れられています。

ボルツマンマシン

ボルツマンマシンは統計物理からの発想で生まれた学習機械です。

ボルツマンマシン自体はあまり応用されていませんが、これを実用的に改良していった制限ボルツマンマシンによる事前学習がディープラーニングの始まりとなっています。

この章では突如確率モデルが基礎になりますから、慣れていない人は読むのが難しいかもしれません。(PRMLなどは一貫して確率モデルとして書いているが)

ギブスサンプリングやCD法などの制限ボルツマンマシンの学習方法を紹介した後に、それによって構築されるディープビリーフネットとディープボルツマンマシンについて紹介しています。

深層学習 Deep Leaning(人工知能学会)

こちらは、人工知能学会誌の深層学習特集をまとめ直し編纂した書籍です。

人工知能学会誌の特集は毎回書いている人が違うために、この本も各章書いている方が異なります。従って、章毎に解説の主なテーマがしっかりと定まっており、詳しく解説が行われています。

深層学習 Deep Learning (監修:人工知能学会)

 階層型ニューラルネットにより深層学習

通常にニューラルネットの学習の話と、自己符号化器、畳込みニューラルネットについて触れられています。この章では難しい数式の話はあまり出てこず、深層学習全体のイントロダクションにようなものになっています。

深層ボルツマンマシン

歴史的には制限ボルツマンマシンを多層化することでディープラーニングは達成されました。そこでこの本では(難しいが)一番最初にボルツマンマシンの話から入っていきます。

その後制限ボルツマンマシン、深層ボルツマンマシン、ディープビリーフネットへと話が進んでいきます。数理的な部分ではボルツマンマシンを理解してしまえば、その後はそれらを応用するための工夫が施されているだけです。

歴史的発展を意識しながら、一般論から具体的な学習の手法へという話の流れです。

事前学習とその周辺

ディープラーニングを成功に至らしめた学習方法である、事前学習について書かれています。制限ボルツマンマシンと自己符号化器を使う方法がありますが、事前学習自体が何をしようとしているものであるのかに着目して解説がなされています。

ここでも制限ボルツマンマシンの事前学習から始まり、確率的なモデルを用いない自己符号化器の話へと進みます。

大規模深層学習の実現技術

ここでは学習を進める上での、経験的な方法が紹介されます。

数理的にそうすることで成果が出る保証はないが、職人的な試行錯誤によって得られた成果たちです。この辺は、一年や二年でどんどん新しい方法が出て来ますが、実装の簡単さなどから使われ続ける方法もあるので一読しておくべきでしょう。

画像認識のための深層学習

ここでは主に畳込みニューラルネットについて紹介されています。

画像認識では空間的な値のとり方が重要であるため、畳込みニューラルネットが活躍していますが、他にも畳込みディープビリーフネットやトポグラフィック独立成分分析も紹介されています。

音声認識のための深層学習

ここでは主にリカレントネットワークについて紹介されます。

音声認識では時間的な波形の変化が重要であるため、ニューラルネットは過去の値の系譜も識別に用いなければ有効な分類ができないと考えられます。従来この分野では言語モデルに隠れマルコフモデルが適用されてきましたが、その学習に深層学習を用いる手法や、言語モデル自体をリカレントネットワークで表現する方法が解説されています。

自然言語処理のための深層学習

画像認識や音声認識は、従来工学によって研究されてきた信号処理技術によってパターン認識が行われてきました。ここに知的信号処理と呼ばれる枠組みでニューラルネットが介入し、機械学習とパターン認識の垣根は取り払われました。また、もともと関連の深いテーマであったため、どちらの分野に属した人でも、テーマに取り組みやすいでしょう。

一方で自然言語処理では、言語の文法的規則を用いて処理を行ってきましたが、機械学習のような統計的処理によって上手く処理が行われるのではないかと期待されています。

言語モデルをどのように構築するのかなどは、まだ定まった方法はなく研究段階です。この本ではその研究事例を紹介しています。また、単語の意味を学習する単語意味学習では、単語そのものに意味があり、文を構築するのではなく、既にある膨大な文の事例から、その使われ方の規則を見出して意味を探すという方法が主流になっています。これには機械学習が応用できそうなのは言うまでも無いでしょう。また、単語単体の意味ではなく、文としての意味を考える場合には、その単語の系列を扱う必要があり、リカレントネットワークなどの応用も見られます。 

2つの本の違い

最初に紹介した機械学習プロフェッショナルシリーズの方は、専ら教科書です。

深層学習 (機械学習プロフェッショナルシリーズ)

一人の著者が全ての章を書いているため、章の配置などが適切で読みやすいです。一方で、どこかの章からいきなり掻い摘んで読むと、数式の添字などが何を意味しているのかが分からないかもしれません。基本からしっかり学びたい人におすすめです。この本をやる上では、特に他の本でニューラルネットを別途勉強しておく必要もあまりないと思います。最初の4章で丁寧に解説されているので。

人工知能学会の方は、もともと学会誌の特集を編集したものですから、章毎に著者がバラバラです。

深層学習 Deep Learning (監修:人工知能学会)

ですから章毎に同じことを繰り返し書かれていたり、あるいは表現の仕方が行列表記だったりΣ表記だったりと、(慣れていれば問題ありませんが)少し戸惑うところもあるかもしれません。

サーベイ論文のつもりで読みたい章を読むということでも一話完結的なので読みやすいかと思います。