"機械学習","信号解析","ディープラーニング"の勉強

読者です 読者をやめる 読者になる 読者になる

HELLO CYBERNETICS

深層学習、機械学習、強化学習、信号処理、制御工学などをテーマに扱っていきます

今更気づいたアマゾンでの書籍探し

はじめに ユーザーレビューは参考になるか 星の数 レビューの内容 機械学習やプログラミング関連の本を探す アメリカのアマゾンを活用 機械学習の書籍に関して キンドルアンリミテッド 日本のアマゾン活用 機械学習関連について アメリカアマゾンへのアクセ…

ニューラルネットのための最適化数学

はじめに 最適化数学 最適化問題の簡単な例 例題の解法 微分による解法の注意点 凸最適化問題 凸関数 凸関数の定義 ニューラルネットの学習 ニューラルネットの目的関数 ニューラルネットの勾配降下法 パラメータを求める戦略 勾配降下法 ニューラルネットの…

本格的に深層学習をやりたい人はTensorFlowがいいのか?

なぜTensorFlow Google発である もともとテンソル計算と計算グラフを記述するもの 利用者が多い TensorFlowの弱点 ネットワークを動的に書き換えられない 対応GPUが高価 64bitにのみ対応 私自身

時系列データ:隠れマルコフモデルの基礎と、リカレントネットの台等

はじめに 隠れマルコフモデル 確率分布として考える 隠れていないマルコフモデル 隠れマルコフモデル 隠れマルコフモデルの学習 隠れマルコフモデルでの予測 隠れマルコフモデルで何ができるか リカレントネット リカレントネットの構造 時間方向への展開 深…

ChainerのDefine by Runとは?

Define by Run Define by Run Define and Run 具体例を見る 上記のコードのネットワークにおける動作

chainer記事のメモ

はじめに 記事のまとめ chainer導入 Pythonの導入 chainer導入 chainer入門 chainer公式ドキュメントのIntroduction 英語ができない場合のintroduction chainerの理解を深める chainer応用 正則化やドロップアウト 独自データを用いる 画像データ テキストデ…

機械学習初心者の勉強方針まとめ

はじめに 最初の一歩を間違える 勉強の方針まとめ 巷で有名な教科書を読む 参考記事 流行りのフレームワークを入れる 参考記事 インターネットで知識を詰め込む 参考記事 目的と合っていない手法に着手

kerasとchainerの違い

KerasとChainer Keras Chainer 比較 Kerasの役割 Chainerの役割 Kerasでの実装 Chainerでの実装 使い分け Chainerがいいなあ Googleの強さ 使い分け

ささっと使ってみたい人にオススメ、深層学習ライブラリ「Keras」

Kerasとは? TensorFlowを使うのと何が違うのか インストールの方法 TensorFlowの場合 Theanoの場合 Chainerに比べたアドバンテージ Kerasは最初の一歩にオススメ

勉強と読書

勉強 勉強の目的 いかに勉強を始めるか 勉強のテーマをころころ変えていいのか 読書 読書とは 読書で他者の追体験をする 既に興味がある、ある程度知っている分野の本を読む 新しい分野に手を伸ばす Kindle unlimited

時間周波数解析:短時間フーリエ変換

短時間フーリエ変換 フーリエ変換 フーリエ変換おさらい フーリエ変換の落とし穴的な仮定 時間周波数解析への誘い 時間周波数解析の出発点 短時間フーリエ変換 短時間フーリエ変換の欠点 不確定性関係 精度が必要な場所とそうでない場所 ウェーブレット変換

機械学習手法を理解する手順

はじめに プログラムへの理解度 機械学習への理解度 何が重要か アルゴリズムとしての理解 アルゴリズムとプログラム プログラムの理解 アルゴリズムとしての理解 機械学習手法を理解する方法 機械学習を抑えるためのポイント 更新式を理解すること 判別も回…

書評:プログラムはこうして作られる

プログラムはこうして作られる 本の特徴 考え方中心 ときには回り道をする 特定の言語に捕われない メモリの概念 本書の対象者 基本的には全くの初学者から初心者に向けて 初心者以外の対象者 最後に

クラスタリングの基本

はじめに クラスタリングと教師なし学習 教師なし学習 クラスタリング クラスタリングの手法 凝集型クラスタリング 重心法 単連結法 完全連結法 まとめ k-means 発展的話題

フーリエ解析の基本

はじめに フーリエ解析とは フーリエ級数展開 フーリエ変換 フーリエ解析の心 フーリエ級数展開を考える理由 微分が簡単になる 微分方程式への応用 線形システム論 フーリエ解析の応用 線形システム解析 信号処理 制御工学 スペクトル解析 パワースペクトル …

畳み込みニューラルネットワークの基礎

事前知識 テンソルで理解しておくべきことは意外と少ない 畳み込みとは 畳み込み 畳み込みニューラルネット 畳み込みニューラルネットの畳み込み処理 空間フィルタ 畳み込み層 RGB画像を扱う場合 畳み込み層まとめ 分類の方法について プーリング層 活性化関…

応用情報技術者試験に合格する具体的な手順

応用情報技術者試験 応用情報技術者試験とは 応用情報技術者試験の価値 外的な価値 内的な価値 応用情報技術者試験の範囲と形式 試験範囲 試験の形式 合格のために具体的に取り組んだこと 応用情報技術者試験について調べる 問題1つ1つが高難易度というわけ…

Irisデータを使ってChainerを試してみましょう

Chainer Chainerの基本的な使い方 まず使ってみましょう IRISデータの分類問題を対象とした全体コード 試してみること 学習中に見るべきところ

Chainerによる実践深層学習

はじめに 1からプログラミングする ライブラリを用いる 結論 悩むべき理由 Chainerのアップデートが早い 畳み込みニューラルネットワークは扱われていない テーマ自体がバラバラの印象 誰が買うべきか 余談

ubuntu /boot の容量がいっぱいになった時の対処法メモ

はじめに ubuntuは前回バージョンを保持している 一個前まであれば十分 具体的な対処法 アンインストールの方法

ニューラルネットワークの中間層の働き、その他脳のモデル

ニューラルネットワーク 脳のモデルとしての構造 連合層(中間層)の役割とは ニューラルネットの特徴抽出 ニューラルネットワークは本質的に教師あり学習 強化学習 強化学習の概要 Q学習 深層強化学習:Deep Q Network 脳との関連 その他 連想記憶ネットワ…

信号解析と機械学習とあとは個人的見解

信号解析の基本手法:フーリエ級数展開 フーリエ級数展開 回帰問題とフーリエ級数展開 特徴量抽出としてフーリエ係数 機械学習における基本手法 ニューラルネットワークの回帰 表現力の高さとは 無駄な働きとは 個人的見解 特徴抽出 しっかり学ぶためには 新…

現在の人工知能開発

人工知能の歴史の全体像を簡単に概観した以下の記事が多くの人に見られるようになりました(大変うれしいことです)。 s0sem0y.hatenablog.com これを見て非常に多くの人が人工知能に関心を寄せていることを再確認いたしましたので、人工知能開発における別…

確率・統計の書籍紹介「経済数学の直感的方法」

直感的方法 経済数学の直感的方法 確率・統計編 なぜ経済数学? Why?の視点 数学的レベル 一貫して発展の経緯と本質的な部分を捉えている どのような人にオススメではないか 誰に特にオススメか

手を動かすことも大事です

雑談 メアリーの部屋 現実の話 手を動かすことも大事

TensorFlowのtutorial:MNIST For Beginners解説

事前知識 ニューラルネットワークの構造 出力層は何を出力するのか ニューラルネットワークの学習 ミニバッチ学習 まとめ MNIST For Begginers はじめに MNISTとは Bigginersで使うニューラルネット ニューラルネットワークの数式 Tutorialのコードの解説 全…

知っておくべき特殊な行列と便利な性質 (大学学部生の方にもおすすめ)

はじめに 基礎編:特殊な行列 対称行列 直交行列 一般の行列 基礎編:逆行列と行列式 逆行列とは 行列式とは ランク落ち 応用編:固有値問題 固有値と固有ベクトルと固有値問題 固有値問題 表記整える 対角化 応用編:対称行列と直交行列での対角化 対称行列…

TensorFlowを始める前に知っておくべきテンソルのこと(追記:より一般的な話題へ)

TensorFlowとは Googleが開発したライブラリ Tensorとは Tensorとは多次元配列のこと Tensorの名前を与える 数式に落としこむ データとテンソル グレースケール画像は2階テンソル RGB画像は3階テンソル インデックスは人間が決めていい 注意点 余談 1階のテ…

出力層で使うソフトマックス関数

ニューラルネットの分類問題 分類するクラスの数=出力層のユニットの数 ラベルデータ 現実の出力 ソフトマックス関数 確率を出力している 交差エントロピー 損失関数 交差エントロピーを用いる理由

自己符号化器(オートエンコーダ)と主成分分析との関係

自己符号化器の役割 自己符号化器の構成方法 数式を見る 損失関数を見る 主成分分析の復習 主成分分析の復習 主成分分析の次元削減 自己符号化器と主成分分析 損失関数の書き換え 主成分分析との比較 自己符号化器の価値 非線形性を容易に表現 雑音に対する…

分類問題における新たな活性化関数「Gumbel-Softmax」

メモ用記事 Gumbel Softmaxの論文 活性化関数 中間層の活性化関数 出力層での活性化関数 良いらしい

「ゼロから作るDeep Learning」書評。購入を迷っている方へ

結論 理由 実装がライブラリに依存していない しっかりと解説が行われている リファレンスが充実している 計算グラフによってネットワークの計算を扱う 中身 誰におすすめできるか 誰におすすめできないか 私が本を購入して

ダイバージェンス関数を数学の立場から概観

機械学習で現れるダイバージェンスといえばご存知KLダイバージェンスがあります。 KLダイバージェンスは学習をする際の評価関数として用いられることもありますが、二乗誤差などに比べ、なぜにこの関数が評価関数として妥当なのか納得しづらいところです。 …

機械学習をpythonではじめよう

matlabとpython matlab python フリーであること 機能の充実 ITはフリーウェアに支えられている pythonを学ぼう 機械学習を通して 機械学習をやるならpythonで良い 機械学習を始める まずはanacondaでpythonの導入 深層学習のライブラリをどうするか

今更ながら深層学習の書籍

深層学習の書籍は何冊か所持していますが、深層学習の勉強が進み、今改めて見ると本に対する印象がだいぶ変わったように思います。今回は、理解が進んだ今だからこそ見える書評してみます。 深層学習の書籍 深層学習(機械学習プロフェッショナルシリーズ) …

ネットワーク概論:物理層

物理層の役割 多くのビットを送信する方法 ブロードバンドとナローバンド 物理層での技術 伝送の誤りと雑音 同軸ケーブル 光ファイバー より対線 通信方式 IEEE802.3によるLANの規定 無線LAN 無線LANの種類 無線LANの基本構成 その他の層

ネットワーク概論:目次

最近は「Big Data」、「Internet of Things」、「Deep learning」がITのキーワードとなっています。近い将来、IOTですべてのものがインターネットに接続されるようになり、そしてそれらから多量の情報がネットワーク上に流れるようになります。そして深層学…

ニューラルネットワークが導入されたGoogle翻訳の実力検証

Googleと言えば人工知能研究に最も力を入れている企業の1つです。 特に近年発展しているニューラルネットの研究に関しては非常に力を入れています。特にDeepmindは機械学習の著名なカンファレンスであるNIPSに毎年論文を採択されており、応用分野だけでなく…

深層学習:ハイパーパラメータの設定に迷っている人へ

既に深層学習は、chainerやtensorflowなどのフレームワークを通して誰の手にも届くようになっています。機械学習も深層学習も、あまりよくわからないが試してみたいなという人が数多くいるように思います。そして、実際に試している人たちもたくさん居るでし…

見たら瞬時に理解すべき数式

機械学習で現れる数式に関して、これを見たら瞬時に理解すべきものを載せておきます。 機械学習で現れる数式には大量の添字があり、それらのせいで一体どのような計算が行われているのかを瞬時に把握するのが難しくなっています。しかしもはやこれは慣れの問…

ニューラルネットワークによる学習の停滞はどこから生ずるか

現在機械学習ではディープラーニングの活躍が目立っています。 その基礎はニューラルネットワークの学習にあり、この学習を知っているのとそうでないのとでは、各手法に関する理解度が大きく異なってくるものと思います。 今回はニューラルネットワークの学…

評価関数で見る機械学習手法

最近、学習は最適化問題に帰着されるということを自分自身強く意識するようになりました。 そこで有名なSVMや対数線形モデルなどの評価関数を見て、それぞれがどのような狙いを持っているのかを概観してみようと思います。 Support Vector Machine 評価関数 …

機械学習を発展させる3つの立場

機械学習をしようという場合には大きく分けて3つの立場があるように思います。 1.機械学習手法の狙いを提案 2.機械学習手法に対する解法を提案 3.機械学習を使ってデータを解析 機械学習は最適化問題を解くということである どちらのアプローチでも構…

機械学習を学ぶ上で抑えておきたい数学2

機械学習や深層学習を学ぶ上で、数学は言語である 線形代数学 行列とベクトルは連立方程式を解くための記法 機械学習での活躍 どこまで学ぶか 最適化数学 学習とは 教師あり学習 教師なし学習 最適化を行う際の重要ワード「正則化」 どこまで学ぶ必要がある…

現代のニューラルネットワーク描像

ニューラルネットワークは深層学習(ディープラーニング)によって復活し、多層化されるにつれ、ネットワークのユニット1つ1つに関して注目する機会はさほど多くなくなりました。 元々はニューロン同士の結合を表現したモデルであったため、その繋がりを意…

ディープラーニング最適化の有用記事

ディープラーニングの勉強を進める中で有用だった記事を載せておきます。 勾配法のまとめ記事 最適化から見たディープラーニングの考え方 通常の機械学習における最適化の視点

状態空間モデル

今回は状態空間モデルというものを紹介します。 状態空間モデルは統計学や信号処理、制御工学ではお馴染みのモデルで、観測されたデータからモデルの内部の状態を推定することを可能とするものです。代表的なものに、制御や信号処理の分野ではカルマンフィル…

一次元の正規分布から多次元正規分布へ

確率・統計の基礎的な数式・統計量が分かるようになったところで、機械学習に進もうと思ってぶつかるのが多次元の壁です。一次元なら分かるんだけども、多次元になるとサッパリわからないというのは、線形代数の数式がわからないからに他ならないのですが、…

機械学習のための確率基礎とベイズの定理

今回は機械学習の数式を追えるようになるために必要と思われ確率の基礎を記事にします。数式を追うための講座なので、確率がなんたるものなのかはある程度知っている前提とし、様々な確率の公式や定理がどのように使われるのかを見て行きたいと思います。 複…

最小二乗法を例に機械学習を見る

最小二乗法 機械学習的な表現 最小二乗法を機械学習的に書いてみましょう。 モデルの正しさは? 予測性能の基本的な評価方法 機械学習の発展 モデルの表現、確率モデルを用いる方法 モデルを複雑にする方法 ニューラルネット