読者です 読者をやめる 読者になる 読者になる

"機械学習","信号解析","ディープラーニング"の勉強

"機械学習","信号解析","ディープラーニング"について、それぞれ勉強しながらブログにまとめていきます。テーマは気分によってバラバラかもしれません。

サポートベクターマシンを手計算して理解する

人工知能 人工知能-機械学習
  •  サポートベクターマシンの数式
    • サポートベクターマシンの最適化問題
    • 最適化問題の別の表現、双対問題
    • まとめ
  • 手計算してみる
    • 問題設定
    • 問題を解く
      • 最適化問題へ値を代入
      • 制約条件を考慮
      • を計算する
      • 主問題のを確認
      • サポートベクトルマシンによる分類器
  • 終わりに
    • 現実の問題:データ点
    • 現実の問題:データが混ざっている
    • 記事
      • 正則化についてMAP推定の立場から
      • バイアスバリアンス分解による機械学習の性能評価
      • サポートベクターマシンの基礎
      • 評価関数、目的関数からの機械学習
続きを読む

バイアス-バリアンス分解:機械学習の性能評価

人工知能 人工知能-機械学習
  •  はじめに
    • この記事で理解できること
    • バイアス-バリアンス分解とは
  • 予測性能
    • 未学習とは
    • 過学習とは
    • 多項式フィッティングにおける未学習と過学習の例
    • 正則化の効力
    • 評価をするために
  • 損失関数の期待値とその分解
    • 損失関数
    • 損失の期待値の最小化
    • 損失の期待値の分解
    • まとめ
  • バイアス-バリアンス分解
    • 訓練データというパラメータ
    • 完全なるノイズ項
    • バイアス-バリアンス分解
      • バリアンス
      • バイアス
    • バイアスとバリアンスのトレードオフ
  • 全体のまとめ
    • 参考となる書籍
続きを読む

線形回帰モデルと最小二乗法

人工知能 人工知能-機械学習
  • はじめに
  • 線形回帰
    • 線形関数
    • 線形回帰の目的
    • ガウスノイズモデル
    • 最尤推定法
    • 対数尤度
    • 最小二乗法との関係
    • 最小二乗法はどんなときに使えるか
  • 次に読む記事
    • 最尤推定より更に実用上強力なMAP推定
    • 分類問題では最小二乗法は用いない
続きを読む

深層学習のフレームワーク「dynet」

人工知能
  •  dynet
    • 特徴
      • Define by Runの方
      • Chainerよりはモジュールの粒度は低い
    • コードの例
      • パラメータの準備
      • 計算グラフ構築
      • 学習部分
      • Define by Runを支えているのは結局ここ
      • 動的にネットワークを変える
  • まとめ
  • dynetドキュメント
    • ドキュメント
    • 技術論文
続きを読む

最大事後確率推定(MAP推定)の基本

数学 数学-確率・統計
  •  はじめに
    • MAP推定とは
    • どちらが優れているか
  • 尤度、事後分布、事前分布
    • ベルヌーイ分布
    • パラメータの推定方法の違い
      • 最尤推定と尤度
      • MAP推定と事後分布
    • 事後分布を見てみる
      • 事前分布
  • MAP推定
    • 事後分布の最大化
      • 対数を取る
      • 求めたいパラメータで微分する
  • 追加の話題
    • 推定法
    • 正則化との関連
  • 記事
続きを読む