書籍紹介：これなら分かる応用数学教室

今回は「これならわかる応用数学教室、共立出版」を紹介します。

これなら分かる応用数学教室―最小二乗法からウェーブレットまで

題名だとイマイチどんな内容が書いてあるのか分かりづらいですが、基本的には信号処理に関する話です。一貫して直交展開という視点で様々な信号処理手法を見ていきます。例題も豊富で、抽象的な話ではなかなか理解できないことも具体例に触れることで理解が促されます。

直交展開に関する話は以下の記事で触れています。

s0sem0y.hatenablog.com

今回紹介する応用数学教室は、様々な手法に関してスペクトル（直交）という概念を基盤にしています。バラバラに見える手法も、統一的な視点を持つと有機的に繋がり、結果的に全体の理解度が抜群に深まります。この本はそれが徹底されており、本当に参考になる一冊です。また、文中に時々挿入されている著者と教え子との議論は、理解を深める助けになるだけでなく、どういうところに疑問を持つべきかという、勉強に対する姿勢のようなものも身につけられます。

この本は（記事にするときに気付きましたが）既に多くのブログで紹介されているようで、今更感がありますが、新生活が始まって新たに勉強を本格的に始めていこうという人の第っぽになるのではないかと思い記事を書きました。

第1章　最小二乗法

データ解析では必ず学ぶ最小二乗法です。

多変量解析に進むにしても、信号処理に進むにしても、機械学習に進むにしても、この基本的な考え方をまず身につけなければ始まりません。統計をベースにする本では、基本的に最尤推定という形で導入されますが、ここでは純粋に、データ点と直線との距離の二乗和を最小化するべく連立方程式を解いていきます。

第2章　直交関数展開

一般的な関数を近似しようとしたときに、何か単純な関数を適当な重みで足し合わせれば似た関数を作ることができます。この際に単純な関数を互いに直交なものとしておくことで、適当な重みとやらが簡単に求まることが説明されます。

ここで重要なのは直交というのは内積が0であるということであり、そして内積というのは人間が人為的に作っていいものなのです。通常の内積は各成分の積の和か、あるいは関数同士の積の積分になっていますが、必ずしもこの形でなくともいいのです。内積の演算を勝手に定義して、初めて計量空間というものが構築されます。その計量空間で対象を論じると決めたのであれば、今後内積計算をそれで統一する限り、好きなように定義していいのです。そんな話がわかりやすく、具体例をあげながら解説されています。

第3章　フーリエ解析

ここでは一般的な信号処理の本でも取り扱われるフーリエ級数展開からフーリエ変換までの話をします。フーリエ級数も直交関数展開で、ここでの内積は普段よく使う標準内積となっています。この本の特徴である、直交展開という視点が強く現れており、普通の信号処理の本とは少し、解説の調子は違います。しかしそれによってフーリエ級数展開の諸公式が、ああも似た統一的な形で表される理由がハッキリと分かるはずです。

僕もブログでフーリエ級数展開に関しては解説しています。参考にしてください。

s0sem0y.hatenablog.com

またパワースペクトルを計算する上での実用的な面での話もされています。

私は不勉強だったためか、この本を見て初めてウィナー・ヒンチン定理の重要性に気付きました（最大エントロピー法によるスペクトル推定でもこの定理が使われる）。

第4章　離散フーリエ解析

これも標準的な信号処理で扱われる内容です。

連続時間を離散時間にしたって、細かく区切ってるだけだろ？と思わず真剣に学んでください。計算機で処理を行う上でサンプリング定理は非常に重要な結果をもたらします。特にちゃんと勉強をせずにディジタル信号処理を計算機でしている人に見られるミスや疑問の多くが、ここでの学びをおろそかにしているのが原因だと思います。

どれくらい細かくサンプリングするかで、表現できる周波数が変わってきます。解析対象に対してどこまでの周波数が含まれているかが既知であるケースは少ないので、解析したい周波数を絞って予めローパスフィルタを通さねばなりません。このローパスフィルタはアナログ回路で達成されなければならず、ディジタルな処理ではどうしようもできないことです。これを誤ると折り返し雑音と呼ばれるものが生じてしまいます。知識がない場合は、あたかもその雑音が何かしらの信号であると勘違いするケースがあります。

また、フーリエ変換に関する対象への仮定をしっかりと持っていなければなりません。窓関数によって、解析対象を端点で減衰させねばギブス現象が生じます。これもまた、あたかも何らかの信号であると勘違いしてしまう可能性があります。

第5章　固有値問題と2次形式

あまり信号処理の本では章を割いて解説されることが少ないですが、次章の主成分分析や特異値分解への導入として必要なところです。

実を言うと固有値問題を解くというのは、直交展開をすることに相当してきます。直交展開を基盤に置いてる本書だからこそ、この部分をしっかり解説しようとしているのでしょう。また、応用上二次形式の最適化問題は（制約を含んだとしても）固有値問題に帰着されるケースが多いため、ここで一緒に学んでおくべきでしょう。また、複雑に見える二次形式も固有値問題を解いて直交展開することで簡単な形式になることが分かります。

第6章　主軸変換とその応用

主成分分析は、データ解析の基本的な手法ですので、本ブログでも度々話題にあげています。特に新しい手法ではありませんが、たとえこれを使う機会が来るかわからないとしても、線形代数の基本や最尤推定としての視点を獲得する教材に成りうるので是非とも学ぶべきです。

また、特異値分解は固有値問題が正方行列に対してしかできなかったところを、任意のサイズの行列に対して類似のことができるようにした、直交展開の一般化だと捉えられます。

特異値分解は行列（2階テンソル）に対する直交展開の一般的方法ですが、現在データ解析の分野ではこれをさらなる高階テンソルに拡張できないかが模索されています。俗に言うテンソル分解です。本書では取り扱われていませんが、将来的に普及するかもしれない手法の基礎になっていることは間違いないので是非とも理解しておきたいです。

第7章　ウェーブレット解析

ウェーブレット変換も直交展開として見ることができます。ただし直交展開としてみるには、当然基底同士の内積が0である必要がありますから、一般にはそれが成り立たないということが説明されます（だからこそ、通常のウェーブレット変換は冗長な表現になっていると理解できます）。画像処理の分野で多重解像度解析がありますが、この概念が直交ウェーブレット解析と同等であることが説明されます。画像処理自体が応用的な分野で具体的な問題をはらんでいますから、一緒に学ぶことでウェーブレット変換への理解も深まるでしょう。

ウェーブレット変換はフーリエ変換と異なり、窓関数の大きさを周波数帯域ごとに調整できるというメリットがあります。すなわち、高周波では時間領域での細かい変動を監視しつつ大雑把な周波数を監視し、低周波領域では周波数分解能を高めて1Hz単位の違いを見極めたいなどの解析ができます。

ウェーブレット基底という考え方自体が応用範囲の広いもので、時間周波数解析だけでなく、特徴抽出などの基底として用いられる場合もあります。

興味があれば是非読んでみてください。

大学生ならば大抵図書館にあるかと思います。

これなら分かる応用数学教室―最小二乗法からウェーブレットまで