"機械学習","信号解析","ディープラーニング"の勉強

読者です 読者をやめる 読者になる 読者になる

"機械学習","信号解析","ディープラーニング"の勉強

"機械学習","信号解析","ディープラーニング"について、それぞれ勉強しながらブログにまとめていきます。テーマは気分によってバラバラかもしれません。

状態空間表現と現代制御について基本的な考えを抑える

線形システムのモデル 状態空間表現 状態空間表現の主役 特殊な状態空間表現、オートノマス系 ブロック線図による表現 状態空間表現のブロック線図 基本的なブロック線図を用いた状態空間表現 制御への応用 古典制御でのフィードバック制御 PID制御 状態フィ…

統計学の考え方を抑えて機械学習との関連と相違を整理

統計学の考え方 統計学とは 言葉と概念の整理 分布 推定 検定 機械学習と統計学 機械学習とは 統計学との関連と相違 統計学と機械学習の相違 推定と学習 結果的に、学習が推定であった 統計的なモデルに寄せる 学習の手法 個人的な考え

FFTとは何か、フーリエ変換との関連と絶対抑えるべき注意点

FFT:高速フーリエ変換 FFTとは? 4つのフーリエ変換の仲間たち フーリエ級数展開 フーリエ逆変換 離散時間フーリエ逆変換 離散フーリエ逆変換 フーリエ変換対の関係 フーリエ変換対とは 一方が周期的ならば、他方は離散的 一方が離散的ならば、他方は周期的…

PID制御の基本的な考え方

制御工学の基礎概念 制御工学とは ロボットアームの問題の例 古典制御工学と現代制御工学 PID制御 PID制御は古典制御の一手法 フィードバック制御 PID制御 PID制御の中身 PID制御の基礎概念 P制御 P制御の役割 P制御の欠点 PI制御 I制御の役割 PI制御 PID制…

プログラムの実行方法「インタプリタ」と「コンパイラ」簡単にまとめ

プログラムとは コンピュータが解釈できること 人間が解釈できること アセンブリ言語 プログラムは最終的には機械語である 高水準言語 普段利用しているのは高水準言語 翻訳は二段構え コンパイラ インタプリタ 実際の利用のされ方 TensorFlow と Chainer Te…

1年間ブログを継続して思ったこと。感想や収益に関して

ブログは楽しい 1年続いた ブログは基本的に何を書いても良い 自分が何をやっていたか振り返れる ブログの収益について ブログ開始早々にはてなブログProへ 広告収入で有料ブログの利用料金を賄う その後の収益 アクセス・収益に関して大事なこと 現在の収益…

SVM、ニューラルネットなどに共通する分類問題における考え方

はじめに 分類問題の基本 分類における困難:線形分離不可能 非線形な分類問題 曲線、曲面によって境界を定める=空間を捻じ曲げて線形な境界を定める 素朴な疑問とその回答 次元に自由度がある 分離できる可能性が上がる うまい曲げ方を見つける 学習とは空…

TensorFlowの強さはコミュニティの大きさ。参加者の人数とレベルがすごい!

TensorFlowのコミュニティ はじめに TensorFlowの強み ネット上に質問と回答が溢れている サードパーティーがTensorFlowを盛り上げる TensorBoardなどの便利機能 宣言的プログラミング 確率モデルを記述するedward登場 Google、TensorFlow自体も頑張る アン…

中間表現の変化:生データ→自己符号化→ファインチューニングまで

2017/3/6更新 はじめに 自己符号化器 簡単な紹介 事前学習(特徴抽出) 中間表現の変化 生データ 事前学習による符号化 ファインチューニングによって変化した中間表現 ファインチューニングで中間表現が変わりすぎることを防ぐ 事前学習の初期値を生かした…

Jupyter notebook の進化版!? JupyterLab

はじめに Atom重いよ 軽くて使いやすい、Geany Jupyter Notebook JupyterLab 何が便利か インストール方法 JupyterLabを使いこなして

ディープラーニングは動的ネットワーク構築が主流になるか? TensorFlow Fold登場

動的ネットワーク構築と静的ネットワーク構築 静的ネットワーク構築 動的ネットワーク構築 動的なTensorFlowが登場 動的なネットワーク構築を行うライブラリ TensorFlow Foldの登場 どれがいいのか

Chainerが大幅にアップデート!深層学習フレームワークの地位確立なるか?

Chainerがアップデート Chainer 2.0の登場 分散処理対応のChainerMN ITpro記事 公式ブログ 強化学習対応のChainerRL クイックスタート 公式ブログ 最後に ライバルTensorFlow(Google開発のフレームワーク)

抑えておきたい評価指標「正解率」「精度」「再現率」

評価の指標を1つじゃない はじめに 正解率 再現率 精度 分割表 評価の方法 精度と再現率のトレードオフ F値 break-even 注意点 参考

科学技術計算に向いている言語?Julia記事のまとめ

はじめに はじめに プログラミング言語の流行は運 juliaまとめ julia公式ドキュメント julia記事まとめ julia機械学習・深層学習 juliaを学ぶための入門

プリンシプル・オブ・プログラミング

プリンシプル・オブ・プログラミング 一生役立つ101の原理原則 目次 内容 誰にオススメか

誤差逆伝搬法(バックプロパゲーション)とは

はじめに ニューラルネットの基礎 ニューラルネットの順伝搬 1つの層での処理 多層での処理 順伝搬のまとめ ニューラルネットワークの学習 勾配法 微分の難しさ 誤差逆伝搬法 問題 誤差逆伝搬法 まずは損失の和を計算する 微分の連鎖律 出力での損失の微分 …

IPA:システム監査の受験を目指して

システム監査技術者 役割と業務 受験の日程 受験を目指す動機 勉強の方法 前回の経験 勉強の手始め 試験勉強の方法

ユーザーローカルのテキストマイニングツール

テキストマイニング テキストマイニングとは テキストマイニングを試すツール ユーザーローカル テキストマイニングを試す 例文で試す 共起ネットワーク ワードクラウド 単語のスコアと出現頻度の表 ブログの記事で試す 共起ネットワーク ワードクラウド 単…

32bitのノートにAtomを入れてPythonを始める

はじめに Atomインストール Atomにパッケージ追加 ・atom-runner ・Terminal-Plus ・autocomplete-python ・minimap ・japanese-menu Pythonのためにやること

確率の基本の基本

はじめに 機械学習での確率 今回のテーマ 確率・統計の基本 確率と統計の考え 確率の基本 離散確率 連続確率 多次元の確率 期待値

ラプラス変換とフーリエ変換

はじめに ラプラス変換とフーリエ変換 フーリエ変換 ラプラス変換 線形性

法律を使うために、まず憲法を学ぶか

はじめに 結論 数学と法 憲法と法律 公理と定理 数学と法の共通点 数学と法の差異 裁判をする 法の下の裁判 数学の下の裁判 学び方 分野を特化して学ぶ 個別の手法から学ぶ 根本を知る意義 記事の動機

本ブログの記事まとめ

記念すべき(?)100記事目ということで、ブログの記事を見直し、まとめました。 はじめに ニューラルネットワーク関連 ニューラルネットの学習 ニューラルネットの基礎 深層学習への発展 機械学習の基礎数学関連 機械学習と数学の勉強 機械学習に現れる…

ニューラルネットワークの学習の工夫

はじめに 伝統的な学習の工夫 正規化、標準化、無相関化、白色化 正規化 標準化 無相関化 白色化 正則化 正則化 正則化 elastic net 伝統的な工夫について ニューラルネットワークの学習の工夫 バッチ正規化 ドロップアウト ノイズ混入 勾配ノイズ ニューラ…

量子コンピュータとは一体?量子論の基礎

はじめに 量子論 量子論の難しさ 量子論の始まり 力学の誕生 電磁気学の主張 2つの物理学から導かれる結果 エネルギーの量子化 電子が波である根拠 重要な解釈 波と粒子の二重性を認めた後 シュレーディンガーの方程式が示すもの トンネル効果 量子コンピュ…

Deep learningに必須なハード:GPU

はじめに 計算性能は必須 CPUとGPU CPU GPU GPGPU ベンチマーク 様々な環境での実験 ニューラルネットの構造を変えた実験 GPUの情報 ディープラーニングのGPU TensorFlowが認識するGPUの性能 2017年GPUの早見表(デスクトップ向け) 紹介

機械学習の重要なアプローチ:ベイズ理論

はじめに 記事を書いた動機 ベイズを意識する理由 ベイズ推定と正則化 ベイズ統計と伝統的統計 過学習という事実 ノイズへの対策 最大事後確率推定 最適化の立場 ベイズ推定について 正則化の試行錯誤 完全なるベイズの枠組み ベイズの枠組みを勉強できる本 …

サポートベクターマシンを手計算して理解する

サポートベクターマシンの数式 サポートベクターマシンの最適化問題 最適化問題の別の表現、双対問題 まとめ 手計算してみる 問題設定 問題を解く 最適化問題へ値を代入 制約条件を考慮 を計算する 主問題のを確認 サポートベクトルマシンによる分類器 終わ…

バイアス-バリアンス分解:機械学習の性能評価

はじめに この記事で理解できること バイアス-バリアンス分解とは 予測性能 未学習とは 過学習とは 多項式フィッティングにおける未学習と過学習の例 正則化の効力 評価をするために 損失関数の期待値とその分解 損失関数 損失の期待値の最小化 損失の期待値…

自動機械学習の登場。深層学習システムを開発する学習ソフトウェア

自動機械学習 発端 機械学習の設計と試験に飽き飽きした 能力 自動機械学習のコスト 自動機械学習の狙い 論文

線形回帰モデルと最小二乗法

はじめに 線形回帰 線形関数 線形回帰の目的 ガウスノイズモデル 最尤推定法 対数尤度 最小二乗法との関係 最小二乗法はどんなときに使えるか 次に読む記事 最尤推定より更に実用上強力なMAP推定 分類問題では最小二乗法は用いない

深層学習のフレームワーク「dynet」

dynet 特徴 Define by Runの方 Chainerよりはモジュールの粒度は低い コードの例 パラメータの準備 計算グラフ構築 学習部分 Define by Runを支えているのは結局ここ 動的にネットワークを変える まとめ dynetドキュメント ドキュメント 技術論文

最大事後確率推定(MAP推定)の基本

はじめに MAP推定とは どちらが優れているか 尤度、事後分布、事前分布 ベルヌーイ分布 パラメータの推定方法の違い 最尤推定と尤度 MAP推定と事後分布 事後分布を見てみる 事前分布 MAP推定 事後分布の最大化 対数を取る 求めたいパラメータで微分する 追加…

TensorFlowを始める知識準備の手順

はじめに 始める前の準備 プログラミング ニューラルネットワーク テンソルのこと 動かしながら検討 様々なタイプのニューラルネット 更に理解を深める

今更気づいたアマゾンでの書籍探し

はじめに ユーザーレビューは参考になるか 星の数 レビューの内容 機械学習やプログラミング関連の本を探す アメリカのアマゾンを活用 機械学習の書籍に関して キンドルアンリミテッド 日本のアマゾン活用 機械学習関連について アメリカアマゾンへのアクセ…

ニューラルネットのための最適化数学

はじめに 最適化数学 最適化問題の簡単な例 例題の解法 微分による解法の注意点 凸最適化問題 凸関数 凸関数の定義 ニューラルネットの学習 ニューラルネットの目的関数 ニューラルネットの勾配降下法 パラメータを求める戦略 勾配降下法 ニューラルネットの…

本格的に深層学習をやりたい人はTensorFlowがいいのか?

なぜTensorFlow Google発である もともとテンソル計算と計算グラフを記述するもの 利用者が多い TensorFlowの弱点 ネットワークを動的に書き換えられない 対応GPUが高価 64bitにのみ対応 私自身

時系列データ:隠れマルコフモデルの基礎と、リカレントネットの台等

はじめに 隠れマルコフモデル 確率分布として考える 隠れていないマルコフモデル 隠れマルコフモデル 隠れマルコフモデルの学習 隠れマルコフモデルでの予測 隠れマルコフモデルで何ができるか リカレントネット リカレントネットの構造 時間方向への展開 深…

ChainerのDefine by Runとは?

Define by Run Define by Run Define and Run 具体例を見る 上記のコードのネットワークにおける動作

chainer記事のメモ

はじめに 記事のまとめ chainer導入 Pythonの導入 chainer導入 chainer入門 chainer公式ドキュメントのIntroduction 英語ができない場合のintroduction chainerの理解を深める chainer応用 正則化やドロップアウト 独自データを用いる 画像データ テキストデ…

機械学習初心者の勉強方針まとめ

はじめに 最初の一歩を間違える 勉強の方針まとめ 巷で有名な教科書を読む 参考記事 流行りのフレームワークを入れる 参考記事 インターネットで知識を詰め込む 参考記事 目的と合っていない手法に着手

kerasとchainerの違い

KerasとChainer Keras Chainer 比較 Kerasの役割 Chainerの役割 Kerasでの実装 Chainerでの実装 使い分け Chainerがいいなあ Googleの強さ 使い分け

ささっと使ってみたい人にオススメ、深層学習ライブラリ「Keras」

Kerasとは? TensorFlowを使うのと何が違うのか インストールの方法 TensorFlowの場合 Theanoの場合 Chainerに比べたアドバンテージ Kerasは最初の一歩にオススメ

勉強と読書

勉強 勉強の目的 いかに勉強を始めるか 勉強のテーマをころころ変えていいのか 読書 読書とは 読書で他者の追体験をする 既に興味がある、ある程度知っている分野の本を読む 新しい分野に手を伸ばす Kindle unlimited

時間周波数解析:短時間フーリエ変換

短時間フーリエ変換 フーリエ変換 フーリエ変換おさらい フーリエ変換の落とし穴的な仮定 時間周波数解析への誘い 時間周波数解析の出発点 短時間フーリエ変換 短時間フーリエ変換の欠点 不確定性関係 精度が必要な場所とそうでない場所 ウェーブレット変換

機械学習手法を理解する手順

はじめに プログラムへの理解度 機械学習への理解度 何が重要か アルゴリズムとしての理解 アルゴリズムとプログラム プログラムの理解 アルゴリズムとしての理解 機械学習手法を理解する方法 機械学習を抑えるためのポイント 更新式を理解すること 判別も回…

書評:プログラムはこうして作られる

プログラムはこうして作られる 本の特徴 考え方中心 ときには回り道をする 特定の言語に捕われない メモリの概念 本書の対象者 基本的には全くの初学者から初心者に向けて 初心者以外の対象者 最後に

クラスタリングの基本

はじめに クラスタリングと教師なし学習 教師なし学習 クラスタリング クラスタリングの手法 凝集型クラスタリング 重心法 単連結法 完全連結法 まとめ k-means 発展的話題

フーリエ解析の基本

はじめに フーリエ解析とは フーリエ級数展開 フーリエ変換 フーリエ解析の心 フーリエ級数展開を考える理由 微分が簡単になる 微分方程式への応用 線形システム論 フーリエ解析の応用 線形システム解析 信号処理 制御工学 スペクトル解析 パワースペクトル …

畳み込みニューラルネットワークの基礎

事前知識 テンソルで理解しておくべきことは意外と少ない 畳み込みとは 畳み込み 畳み込みニューラルネット 畳み込みニューラルネットの畳み込み処理 空間フィルタ 畳み込み層 RGB画像を扱う場合 畳み込み層まとめ 分類の方法について プーリング層 活性化関…