"機械学習","信号解析","ディープラーニング"の勉強

読者です 読者をやめる 読者になる 読者になる

"機械学習","信号解析","ディープラーニング"の勉強

"機械学習","信号解析","ディープラーニング"について、それぞれ勉強しながらブログにまとめていきます。テーマは気分によってバラバラかもしれません。

応用情報技術者試験に合格する具体的な手順

応用情報技術者試験 応用情報技術者試験とは 応用情報技術者試験の価値 外的な価値 内的な価値 応用情報技術者試験の範囲と形式 試験範囲 試験の形式 合格のために具体的に取り組んだこと 応用情報技術者試験について調べる 問題1つ1つが高難易度というわけ…

Irisデータを使ってChainerを試してみましょう

Chainer Chainerの基本的な使い方 まず使ってみましょう IRISデータの分類問題を対象とした全体コード 試してみること 学習中に見るべきところ

Chainerによる実践深層学習

はじめに 1からプログラミングする ライブラリを用いる 結論 悩むべき理由 Chainerのアップデートが早い 畳み込みニューラルネットワークは扱われていない テーマ自体がバラバラの印象 誰が買うべきか 余談

ubuntu /boot の容量がいっぱいになった時の対処法メモ

はじめに ubuntuは前回バージョンを保持している 一個前まであれば十分 具体的な対処法 アンインストールの方法

ニューラルネットワークの中間層の働き、その他脳のモデル

ニューラルネットワーク 脳のモデルとしての構造 連合層(中間層)の役割とは ニューラルネットの特徴抽出 ニューラルネットワークは本質的に教師あり学習 強化学習 強化学習の概要 Q学習 深層強化学習:Deep Q Network 脳との関連 その他 連想記憶ネットワ…

信号解析と機械学習とあとは個人的見解

信号解析の基本手法:フーリエ級数展開 フーリエ級数展開 回帰問題とフーリエ級数展開 特徴量抽出としてフーリエ係数 機械学習における基本手法 ニューラルネットワークの回帰 表現力の高さとは 無駄な働きとは 個人的見解 特徴抽出 しっかり学ぶためには 新…

現在の人工知能開発

人工知能の歴史の全体像を簡単に概観した以下の記事が多くの人に見られるようになりました(大変うれしいことです)。 s0sem0y.hatenablog.com これを見て非常に多くの人が人工知能に関心を寄せていることを再確認いたしましたので、人工知能開発における別…

確率・統計の書籍紹介「経済数学の直感的方法」

直感的方法 経済数学の直感的方法 確率・統計編 なぜ経済数学? Why?の視点 数学的レベル 一貫して発展の経緯と本質的な部分を捉えている どのような人にオススメではないか 誰に特にオススメか

手を動かすことも大事です

雑談 メアリーの部屋 現実の話 手を動かすことも大事

TensorFlowのtutorial:MNIST For Beginners解説

事前知識 ニューラルネットワークの構造 出力層は何を出力するのか ニューラルネットワークの学習 ミニバッチ学習 まとめ MNIST For Begginers はじめに MNISTとは Bigginersで使うニューラルネット ニューラルネットワークの数式 Tutorialのコードの解説 全…

知っておくべき特殊な行列と便利な性質 (大学学部生の方にもおすすめ)

はじめに 基礎編:特殊な行列 対称行列 直交行列 一般の行列 基礎編:逆行列と行列式 逆行列とは 行列式とは ランク落ち 応用編:固有値問題 固有値と固有ベクトルと固有値問題 固有値問題 表記整える 対角化 応用編:対称行列と直交行列での対角化 対称行列…

TensorFlowを始める前に知っておくべきテンソルのこと(追記:より一般的な話題へ)

TensorFlowとは Googleが開発したライブラリ Tensorとは Tensorとは多次元配列のこと Tensorの名前を与える 数式に落としこむ データとテンソル グレースケール画像は2階テンソル RGB画像は3階テンソル インデックスは人間が決めていい 注意点 余談 1階のテ…

出力層で使うソフトマックス関数

ニューラルネットの分類問題 分類するクラスの数=出力層のユニットの数 ラベルデータ 現実の出力 ソフトマックス関数 確率を出力している 交差エントロピー 損失関数 交差エントロピーを用いる理由

自己符号化器(オートエンコーダ)と主成分分析との関係

自己符号化器の役割 自己符号化器の構成方法 数式を見る 損失関数を見る 主成分分析の復習 主成分分析の復習 主成分分析の次元削減 自己符号化器と主成分分析 損失関数の書き換え 主成分分析との比較 自己符号化器の価値 非線形性を容易に表現 雑音に対する…

分類問題における新たな活性化関数「Gumbel-Softmax」

メモ用記事 Gumbel Softmaxの論文 活性化関数 中間層の活性化関数 出力層での活性化関数 良いらしい

「ゼロから作るDeep Learning」書評。購入を迷っている方へ

結論 理由 実装がライブラリに依存していない しっかりと解説が行われている リファレンスが充実している 計算グラフによってネットワークの計算を扱う 中身 誰におすすめできるか 誰におすすめできないか 私が本を購入して

ダイバージェンス関数を数学の立場から概観

機械学習で現れるダイバージェンスといえばご存知KLダイバージェンスがあります。 KLダイバージェンスは学習をする際の評価関数として用いられることもありますが、二乗誤差などに比べ、なぜにこの関数が評価関数として妥当なのか納得しづらいところです。 …

機械学習をpythonではじめよう

matlabとpython matlab python フリーであること 機能の充実 ITはフリーウェアに支えられている pythonを学ぼう 機械学習を通して 機械学習をやるならpythonで良い 機械学習を始める まずはanacondaでpythonの導入 深層学習のライブラリをどうするか

今更ながら深層学習の書籍

深層学習の書籍は何冊か所持していますが、深層学習の勉強が進み、今改めて見ると本に対する印象がだいぶ変わったように思います。今回は、理解が進んだ今だからこそ見える書評してみます。 深層学習の書籍 深層学習(機械学習プロフェッショナルシリーズ) …

ネットワーク概論:物理層

物理層の役割 多くのビットを送信する方法 ブロードバンドとナローバンド 物理層での技術 伝送の誤りと雑音 同軸ケーブル 光ファイバー より対線 通信方式 IEEE802.3によるLANの規定 無線LAN 無線LANの種類 無線LANの基本構成 その他の層

ネットワーク概論:目次

最近は「Big Data」、「Internet of Things」、「Deep learning」がITのキーワードとなっています。近い将来、IOTですべてのものがインターネットに接続されるようになり、そしてそれらから多量の情報がネットワーク上に流れるようになります。そして深層学…

ニューラルネットワークが導入されたGoogle翻訳の実力検証

Googleと言えば人工知能研究に最も力を入れている企業の1つです。 特に近年発展しているニューラルネットの研究に関しては非常に力を入れています。特にDeepmindは機械学習の著名なカンファレンスであるNIPSに毎年論文を採択されており、応用分野だけでなく…

深層学習:ハイパーパラメータの設定に迷っている人へ

既に深層学習は、chainerやtensorflowなどのフレームワークを通して誰の手にも届くようになっています。機械学習も深層学習も、あまりよくわからないが試してみたいなという人が数多くいるように思います。そして、実際に試している人たちもたくさん居るでし…

見たら瞬時に理解すべき数式

機械学習で現れる数式に関して、これを見たら瞬時に理解すべきものを載せておきます。 機械学習で現れる数式には大量の添字があり、それらのせいで一体どのような計算が行われているのかを瞬時に把握するのが難しくなっています。しかしもはやこれは慣れの問…

ニューラルネットワークによる学習の停滞はどこから生ずるか

現在機械学習ではディープラーニングの活躍が目立っています。 その基礎はニューラルネットワークの学習にあり、この学習を知っているのとそうでないのとでは、各手法に関する理解度が大きく異なってくるものと思います。 今回はニューラルネットワークの学…

評価関数で見る機械学習手法

最近、学習は最適化問題に帰着されるということを自分自身強く意識するようになりました。 そこで有名なSVMや対数線形モデルなどの評価関数を見て、それぞれがどのような狙いを持っているのかを概観してみようと思います。 Support Vector Machine 評価関数 …

機械学習を発展させる3つの立場

機械学習をしようという場合には大きく分けて3つの立場があるように思います。 1.機械学習手法の狙いを提案 2.機械学習手法に対する解法を提案 3.機械学習を使ってデータを解析 機械学習は最適化問題を解くということである どちらのアプローチでも構…

機械学習を学ぶ上で抑えておきたい数学2

機械学習や深層学習を学ぶ上で、数学は言語である 線形代数学 行列とベクトルは連立方程式を解くための記法 機械学習での活躍 どこまで学ぶか 最適化数学 学習とは 教師あり学習 教師なし学習 最適化を行う際の重要ワード「正則化」 どこまで学ぶ必要がある…

現代のニューラルネットワーク描像

ニューラルネットワークは深層学習(ディープラーニング)によって復活し、多層化されるにつれ、ネットワークのユニット1つ1つに関して注目する機会はさほど多くなくなりました。 元々はニューロン同士の結合を表現したモデルであったため、その繋がりを意…

ディープラーニング最適化の有用記事

ディープラーニングの勉強を進める中で有用だった記事を載せておきます。 勾配法のまとめ記事 最適化から見たディープラーニングの考え方 通常の機械学習における最適化の視点

状態空間モデル

今回は状態空間モデルというものを紹介します。 状態空間モデルは統計学や信号処理、制御工学ではお馴染みのモデルで、観測されたデータからモデルの内部の状態を推定することを可能とするものです。代表的なものに、制御や信号処理の分野ではカルマンフィル…

一次元の正規分布から多次元正規分布へ

確率・統計の基礎的な数式・統計量が分かるようになったところで、機械学習に進もうと思ってぶつかるのが多次元の壁です。一次元なら分かるんだけども、多次元になるとサッパリわからないというのは、線形代数の数式がわからないからに他ならないのですが、…

機械学習のための確率基礎とベイズの定理

今回は機械学習の数式を追えるようになるために必要と思われ確率の基礎を記事にします。数式を追うための講座なので、確率がなんたるものなのかはある程度知っている前提とし、様々な確率の公式や定理がどのように使われるのかを見て行きたいと思います。 複…

最小二乗法を例に機械学習を見る

最小二乗法 機械学習的な表現 最小二乗法を機械学習的に書いてみましょう。 モデルの正しさは? 予測性能の基本的な評価方法 機械学習の発展 モデルの表現、確率モデルを用いる方法 モデルを複雑にする方法 ニューラルネット

機械学習の初心者が数式に困惑したら。解決への指針

前回機械学習を学ぶなら数学が必要だという話をしました。 s0sem0y.hatenablog.com それと同時に、数学を極めてから機械学習をやるのではなく、機械学習をやりながら必要に応じて数学を学んでいくというスタイルをオススメしました。しかし、今から機械学習…

【知識なしで読める】ディープラーニングに纏わる人工知能の本

以下の本が、無償で公開されていたので紹介しておきます。 読むためにはKindleのインストールが必要です。スマホの方はそれぞれアプリストアから、PC版の方はそれぞれOSに合わせて以下からダウンロードしてください。 Kindle for PC (Windows) [ダウンロード…

数学の教科書について

はじめに s0sem0y.hatenablog.com この記事で数学に関して勉強したいという場合に参考になる本を紹介したいと思います。 しかし個人的には数学の本を一冊ガッツリやって機械学習に移るというよりは、機械学習を学びながら必要な数学は調べていけばいいかなと…

ここからはじめるディープラーニングの主流手法まとめ【保存版】

ディープラーニングは2006年にトロント大学のHinton氏が考案したDeep Belief Networkから始まりました。このとき考案されたのが事前学習という手法で、一層ずつ層を学習させてから繋げていくことで、一気に深い構造を学習させる際に生じていた勾配消失問題を…

機械学習を学ぶ上で抑えておきたい数学

機械学習を勉強する際にぶつかる最大の壁は数学です。 機械学習に必要な数学をリストアップし、いつでも参照できるようにまとめておきたいと思います。 数学の必要性と手順 数学は世界共通の言語 機械学習をやる上で厳密な数学は必要なし レベル別、必要な数…

ディープラーニングでの学習収束技術

ディープラーニングでは多くの層とユニットを用いて、非常に高い表現力を持ったネットワーク構造を作り出します。その高い表現力が包含する様々な実現可能な変換の中から、如何にして望む変換を獲得するかが学習のフェイズになります。 この学習では、表現力…

NIPSの採択論文から見る機械学習の動向 [更新]

12月に開かれる機械学習のトップカンファレンスであるNIPS。ここで採択された論文から、近年の機械学習手法の研究動向を見てみたいと思います。 NIPSとは 検索ワード ディープ(deep) スパース(sparse) 最適化(Optimization) 強化学習(Reinforcement learning…

5Gのビジョン:2020年に向けた通信技術とV to X

「G」は世代(Generation)のGで、従って4Gというのは第4世代通信ということです。スマホ以前のガラケーと呼ばれる携帯電話が主流だった時代は、3G通信がまさに最新の通信技術でした。それがあっという間に次の通信規格LTE(3.9G)が現れましたね。実は新たな通…

カーネル法

ディープラーニングが現れる以前の機械学習で一斉を風靡した学習機械と言えばSupport Vector Machine(SVM)ですね。このSVMが大活躍した背景には、線形回帰・分離の手法を非線形へ拡張するカーネル法の存在がありました。 今回はそのカーネル法について解説し…

サポートベクターマシン(support vector machine:SVM)の基礎

線形識別器の代表格としてサポートベクターマシンを取り上げます。 機械学習で一躍有名となった手法の1つで、ディープラーニングが流行る以前は「え、まだニューラルネットやっているの?時代はサポートベクターマシンでしょ」と言った雰囲気でした。今はな…

フィッシャーの線形判別

フィッシャーの線形判別は、データを分類する際に統計学の分野で古くから使われている手法です。「判別」という言葉が付いていますが、事実上これはデータを分類するための都合の良い線形変換を見つける手法だと言えます。フィッシャーの線形判別は主成分分…

線形識別モデルの基本

久々の更新になります。 今回からしばらく、線形識別モデルについて記述していきます。 線形識別モデルは、データに対して、そのデータがどのクラスに属するかを分類する最も基本的な方法です。非線形な識別を考える上でも、基本的にはこの線形識別モデルが…

書籍紹介:深層学習

深層学習(機械プロフェッショナルシリーズ) 昨年発売された深層学習の書籍を紹介します。 機械学習プロフェッショナルシリーズは、理研の革新知能統合研究センター長の杉山将氏が監修している機械学習全般に関する書籍のシリーズです。現在も着々とシリーズ…

機械学習・信号処理・制御工学について関連性も踏まえて

機械学習・信号処理・制御工学はそれぞれ重なってくる部分も多く、これらの関係性を把握しておけば、互いに異なった分野で蓄えられた知見を上手く使って問題解決に活かされるかもしれません。 将棋のような探索を応用する分野では、最適制御の知見を使いBona…

指数型分布族について

確率分布にも種類は色々ありますが、その中でも指数型分布族と呼ばれる種類のものは良い性質を持っており、学習に用いやすいです。今回は指数分布族がどういう種類のものであるか、そしてどういう性質を持っているのかを解説していきたいと思います。 指数型…

ニューラルネットの表現力と回帰分析

機械学習といえばニューラルネット・ディープラーニングという印象の方も多いと思われます。実際、ニューラルネットはそのアーキテクチャによって様々な種類のデータをうまく扱うことができます。今回はニューラルネットに対して、いろいろなアーキテクチャ…