"機械学習","信号解析","ディープラーニング"の勉強

HELLO CYBERNETICS

深層学習、機械学習、強化学習、信号処理、制御工学などをテーマに扱っていきます

人工知能

ニューラルネットワークによる学習の停滞はどこから生ずるか

現在機械学習ではディープラーニングの活躍が目立っています。 その基礎はニューラルネットワークの学習にあり、この学習を知っているのとそうでないのとでは、各手法に関する理解度が大きく異なってくるものと思います。 今回はニューラルネットワークの学…

評価関数で見る機械学習手法

最近、学習は最適化問題に帰着されるということを自分自身強く意識するようになりました。 そこで有名なSVMや対数線形モデルなどの評価関数を見て、それぞれがどのような狙いを持っているのかを概観してみようと思います。 Support Vector Machine 評価関数 …

機械学習を発展させる3つの立場

機械学習をしようという場合には大きく分けて3つの立場があるように思います。 1.機械学習手法の狙いを提案 2.機械学習手法に対する解法を提案 3.機械学習を使ってデータを解析 機械学習は最適化問題を解くということである どちらのアプローチでも構…

現代のニューラルネットワーク描像

ニューラルネットワークは深層学習(ディープラーニング)によって復活し、多層化されるにつれ、ネットワークのユニット1つ1つに関して注目する機会はさほど多くなくなりました。 元々はニューロン同士の結合を表現したモデルであったため、その繋がりを意…

ディープラーニング最適化の有用記事

ディープラーニングの勉強を進める中で有用だった記事を載せておきます。 勾配法のまとめ記事 最適化から見たディープラーニングの考え方 通常の機械学習における最適化の視点

最小二乗法を例に機械学習を見る

最小二乗法 機械学習的な表現 最小二乗法を機械学習的に書いてみましょう。 モデルの正しさは? 予測性能の基本的な評価方法 機械学習の発展 モデルの表現、確率モデルを用いる方法 モデルを複雑にする方法 ニューラルネット

ここからはじめるディープラーニングの主流手法まとめ【保存版】

ディープラーニングは2006年にトロント大学のHinton氏が考案したDeep Belief Networkから始まりました。このとき考案されたのが事前学習という手法で、一層ずつ層を学習させてから繋げていくことで、一気に深い構造を学習させる際に生じていた勾配消失問題を…

ディープラーニングでの学習収束技術

ディープラーニングでは多くの層とユニットを用いて、非常に高い表現力を持ったネットワーク構造を作り出します。その高い表現力が包含する様々な実現可能な変換の中から、如何にして望む変換を獲得するかが学習のフェイズになります。 この学習では、表現力…

NIPSの採択論文から見る機械学習の動向 [更新]

12月に開かれる機械学習のトップカンファレンスであるNIPS。ここで採択された論文から、近年の機械学習手法の研究動向を見てみたいと思います。 NIPSとは 検索ワード ディープ(deep) スパース(sparse) 最適化(Optimization) 強化学習(Reinforcement learning…

カーネル法

ディープラーニングが現れる以前の機械学習で一斉を風靡した学習機械と言えばSupport Vector Machine(SVM)ですね。このSVMが大活躍した背景には、線形回帰・分離の手法を非線形へ拡張するカーネル法の存在がありました。 今回はそのカーネル法について解説し…

サポートベクターマシン(support vector machine:SVM)の基礎

線形識別器の代表格としてサポートベクターマシンを取り上げます。 機械学習で一躍有名となった手法の1つで、ディープラーニングが流行る以前は「え、まだニューラルネットやっているの?時代はサポートベクターマシンでしょ」と言った雰囲気でした。今はな…

フィッシャーの線形判別

フィッシャーの線形判別は、データを分類する際に統計学の分野で古くから使われている手法です。「判別」という言葉が付いていますが、事実上これはデータを分類するための都合の良い線形変換を見つける手法だと言えます。フィッシャーの線形判別は主成分分…

線形識別モデルの基本

久々の更新になります。 今回からしばらく、線形識別モデルについて記述していきます。 線形識別モデルは、データに対して、そのデータがどのクラスに属するかを分類する最も基本的な方法です。非線形な識別を考える上でも、基本的にはこの線形識別モデルが…

ニューラルネットの表現力と回帰分析

機械学習といえばニューラルネット・ディープラーニングという印象の方も多いと思われます。実際、ニューラルネットはそのアーキテクチャによって様々な種類のデータをうまく扱うことができます。今回はニューラルネットに対して、いろいろなアーキテクチャ…

フィードフォワードニューラルネットワークの基本

今回はニューラルネットワークの話をします。 僕のブログに行き着く人の多くは「ニューラルネットワーク」とか「ディープラーニング」とかで検索している人が多いみたいなので、きっと最も需要がある項目なのでしょう。 ディープラーニングをやるにしても、…

次元の呪いについて再考

最近の機械学習はディープラーニングによって大いに発達し、様々な分野で精度の記録を更新する大躍進を起こしています。しかしその活躍も計算機の設計や多くの学習パラメータの調整にしわ寄せが行っているだけの話で、膨大な次元のデータがもたらす次元の呪…

人工知能の歴史 AIを如何にして達成しようとしたか

※めちゃくちゃ長いです。一連の流れで読むと理解が深まると思います。自身の復習のためにも書き下しました。個々の章で完結しているので、それぞれ別の記事としても掲載しています。 近年は人工知能ブームが到来し、人工知能というワードを当たり前のように…

パーセプトロンの概観とディープラーニングへ

パーセプトロンとサポートベクターマシンの考え方の違いをまとめます。 いずれも線形分離を達成するための手法ですが、線形分離ができない場合はそれぞれ違った手法で線形分離ができそうな問題へと変換していきます。実を言うと幾何的には両方とも同じ処理方…