HELLO CYBERNETICS

深層学習、機械学習、強化学習、信号処理、制御工学、量子計算などをテーマに扱っていきます

【訓練誤差と汎化誤差】学習・統計的推定は正しいのか?【過学習】

はじめに 学習の目的と試み 真の目的に対する我々の現実 データのサンプリング(採取) 真の目的と推定・学習の関係 具体的な学習の試み 正則化による統計モデルの制限 ハイパーパラメータの調整 最終評価 (補足)ベイズ推論 理論的な学習の評価 これまでの…

GPyTorchでガウス過程を見てみよう

はじめに ガウス過程(GP) GPyTorchを使ったモデリング コード概要 学習コード データとモデルの準備 学習と結果 ハイパーパラメータの振る舞い lengthscale outputscale 最後に

強化学習に出てくるベルマン方程式を理解しよう

はじめに ベルマン方程式の概要 最適制御と評価関数 最適制御 評価関数 価値関数 ベルマンの最適性原理 ベルマン方程式 価値関数の離散化 状態の時間発展再訪 ベルマン方程式 まとめ 最後に

MLPシリーズ ベイズ深層学習

はじめに 概要 深層学習に対して不確実性を導入する 深層学習をベイズ推論で理解する ベイズ推論にニューラルネットワークを導入する 中身 1.はじめに 2.ニューラルネットワークの基礎 3.ベイズ推論の基礎 4.近似ベイズ推論 5.ニューラルネットワークのベイ…

PyTorch1.X系のテンソル操作と微分操作の基本+ニューラルネットワークの基本

はじめに Tensorの生成 Tensorのメモリ確保 すべての要素が $0$ のTensor すべての要素が $1$ のtensor 各要素が $[0, 1]$ の一様分布から生成されるtensor 各要素が 平均 $0$ 標準偏差 $1$ の正規分布から生成されるtensor Pythonやnumpyの型からtorch.Tens…

【ロバスト回帰】最小二乗法と最小絶対値法

ロバスト回帰 単回帰 最小二乗法 最小絶対値法 MSEとMAEの比較 ライブラリをインポート 扱うデータの可視化 モデル構築 学習 結果の可視化 最小絶対値法なんてしていいの? 確率モデル ラプラス分布とガウス分布 最尤推定でやってみる

カルマンフィルタの雰囲気を

はじめに カルマンフィルタの概要 カルマンフィルタを使うようなケース カルマンフィルタがやっていること カルマンフィルタの流れ

強化学習の基本:マルコフ決定過程ってなんぞ?

はじめに 環境とエージェント 環境 マルコフ過程 本当のマルコフ過程 マルコフ決定過程 本当のマルコフ決定過程 強化学習の話をちょっとだけ 最後に

ディープラーニングは自動で特徴を抽出してくれる?

はじめに 特徴抽出とは ニューラルネットワークによる特徴抽出 深層学習は特徴抽出を自動で行うのか 補足:本当に自動機械学習に向けて

【今更聞けない、いや今すぐ聞け】一致推定量と不偏推定量

はじめに:推定量とは 一致推定量 不偏推定量 最後に

ガウシアンプロセスを使ってみたい人への最低限の知識

はじめに ガウス過程の構成要素 パラメータの周辺化消去 カーネル関数 ガウス過程 ガウス過程回帰 ガウス過程分類 最後に

TFPで階層モデルを書くときの便利なクラス tfd.JointDistributionCoroutine

はじめに 環境 階層モデル 例:モデル コード

tf.functionのメモ

tf.functionの基本 基本的な役割 実際の使い方 注意点 制御構文 TO DO

TFP: 確率モデルの書き方 with tfd.JointDistiburionSequential

はじめに 色々な分布 正規分布を使った基本 変数の接続が複雑な場合 sample log_prob

ベイズの定理を使わずに事後分布の推論

はじめに グラフィカルモデリング グラフィカルモデルと同時分布 グラフィカルモデリング まとめ 正規分布のパラメータの事後分布 回帰問題のモデリング

【書籍紹介】ガウス過程と機械学習

はじめに 目次とコメント 0章 たった5分でガウス過程が分かってしまう 1章 線形回帰モデル 2章 ガウス分布 3章 ガウス過程 4章 確率的生成モデルとガウス過程 5章 ガウス過程の計算法 6章 ガウス過程の適用 7章 ガウス過程による教師なし学習 ガウス過程の…

【PyTorch】多項式回帰MAP推定・変分ベイズ推論を試す

はじめに 利用するモジュール torch.distributions の基本 分布の記述 サンプリング 対数尤度の計算 MAP推定 用いるデータ モデル 目的関数 学習コード PyTorchっぽく書く 変分推論 変分モデル 目的関数 学習コード 変分推論をPyTorchっぽく書く

CAE・有限要素法のお勉強:ガラーキン法

はじめに 有限要素法の下地をひとっ走り 考える微分方程式 解の候補を絞る 解の候補が満たすべき素朴な条件:最小二乗法 解の候補が満たすべき面白い条件:重み付き残差法 欲張りな重み付き残差法 重み付き残差の準備の仕方を決める:ガラーキン法

KL reverseとKL forwardのメモ

はじめに KLダイバージェンス 表記に関する注意事項 確率分布間の比較 ダイバージェンスの非対称性 KL reverseの計算 KL forwardの計算 確率分布の形状再考 変分推論では KL reverseを利用する

変分推論とVAEまでの流れ

はじめに 確率モデリング 例 ガウス分布から生起するデータ 回帰モデル ベイズモデリング MAP推定 変分推論 VAE Normalizing Flow

AutoMLとは?

はじめに AutoMLのライブラリ H20.ai Auto-Keras AutoSklearn hyperas AutoMLとは 機械学習で生ずる作業 AutoMLの役割 ハイパーパラメータ探索 モデルの選定 特徴選択 AutoMLとは 追記

変分モデルの書き方 Pyro

はじめに データの分布形状が既知な場合の推論 問題設定 ベイズ推論のためのモデリング 共役事前分布を用いた解析的推論 変分推論 Pyro で変分推論 振り返り 追記:変分ベイズ推論を応用した最尤推定、MAP推定 MAP推定 最尤推定

torch.jit を使ってみたのでメモ

はじめに Python on CPU Python on GPU Torch on CPU Torch on GPU

Graph Neural Network 系のライブラリメモ

はじめに PyTorch Deep Graph Library PyTorch Geometric TensorFlow graphnets おすすめ

TensorFlow 2.0 のコードの書き方基本集(PyTorchとの比較)

はじめに 線形回帰と学習のコード データセット PyTorch TF2.0 違い 些細な違い:層の定義の仕方 些細な違い:ロス関数の書き方 大きな違い:勾配計算とパラメータ更新 ニューラルネットワークの簡単な書き方 PyTorch TF2.0 違い 畳み込みニューラルネットワ…

確率的プログラミング言語Pyroと変分ベイズ推論の基本

はじめに ベイズ推論 モデリング 事後分布 予測分布 実際に使われる予測分布 Pyroの基本 Pyroの確率変数の取扱 Pyroのハイパーパラメータの取扱 Pyroでの変分パラメータの取扱 変分ベイズ推論のコード:確率モデル 変分モデル 学習コード 変分推論のカスタマ…

統計的学習理論でのコトバの定義が分かりやすかったのでまとめ

はじめに コトバの定義 データ 学習データ 検証データ テストデータ 入力データと出力データ 機械学習モデル 仮説 仮説集合 損失 損失関数 予測損失 経験損失

変分ベイズ法の心2

はじめに 変分ベイズ法の戦略 基本の復習 分布の評価指標 ELBO 変分ベイズ法の具体的手段 関数 $q$ をどのように置くのか

変分ベイズ法の心

ベイズ推論の基本 変分ベイズ学習 変分法の心 変分ベイズ法の戦略

TensorFlow2.0 Preview版が出ました!

TensorFlow 2.0発表! コード周辺の変更 tutorial