HELLO CYBERNETICS

深層学習、機械学習、強化学習、信号処理、制御工学、量子計算などをテーマに扱っていきます

人工知能

機械学習の基礎への入門:統計的学習理論の初歩

はじめに 学習 汎化性能を最も良くする仮説 学習で得られる仮説とベイズ規則、その誤差の比較 バイアスとバリアンス

ニューラルネットワーク正則化とMAP推定

はじめに 決定論的なニューラルネットワーク ニューラルネットワーク 学習 ニューラルネットワークの最尤推定 正則化 MAP推定と正則化の関連

【PyTorch入門】Tensorの扱いから単回帰まで

はじめに Tesnor型 dtype その他の重要メソッド empty to numpy detach clone inplace t reshape と view 自動微分 torch.autograd.grad 関数 backwardメソッド 単回帰モデル 最後に

Jaxでガウス過程 + NumPyroでハイパーパラメータ推論

モジュール データ ガウス過程 カーネル関数 予測 決め打ちハイパーパラメータでの予測 MCMC でのハイパーパラメータ推論 モデル 事前分布からのサンプリング 事後分布の推論 予測分布 ガウス過程関連の記事

【Jax, Numpyro】Regression Model practice

はじめに Simple regression prior sampling toy data inference by NUTS result predictive distribution Robust Regression toy data Robust regression model inference and result predictive 最後に

【PyTorch・Pyro】モデリングレシピ

はじめに 単一の分布を使ったモデル 正規分布 同時分布の設計 同時分布からのサンプリング Pyroコード ベルヌーイ分布 同時分布の設計 同時分布からのサンプリング Pyroコード カテゴリ分布 同時分布の設計 同時分布からのサンプリング pyroコード 混合モデ…

E資格で必須の特異値分解解説

はじめに 特異値分解 定義 特異値分解の嬉しさ 行列の低ランク近似 主成分分析の解法 行列による増幅率を定義 特異値と特異ベクトルの実態 最後に

ベイズ統計学の手引

ベイズ統計学のモデリングにおける登場人物 同時分布 統計モデルと事前分布 尤度関数 事後分布 周辺尤度 まとめ 寄り道 ベイズ予測分布 回帰の例 同時分布設計 事後分布 ベイズ予測分布

PyTorchの周辺ライブラリ

PyTorch 確率的プログラミング GPyTorch Pyro BoTorch Ax Training Wrapper pytorch lightning ignite Catalyst skorch Computer Vision kaolin pytorch3d kornia

Variational Gaussian Process と Deep Neural Netの回帰の比較

はじめに 連続で滑らかな関数の近似 データ Gaussian Process ニューラルネット 不連続な関数 データ Gaussian Process ニューラルネット

変分と機械学習

はじめに 変分法 変分 微分との差異 微分可能 変分と汎関数 補足 機械学習 関数近似 変分ベイズ法

ニューラルネットワークを用いた近年の変分推論2

はじめに ベイズ推論基本 ベイズ推論 ベイズ予測分布 変分推論 変分推論のアルゴリズム Normalizing Flows 確率分布の変換規則 変分推論への組み込み 具体的な変換の例 planner flow radius flow inverse autoregressive flow flow VAE VAE 基本 flow VAE

TensorFlow probabilityでレプリカ交換モンテカルロ法

はじめに データ モデル 遷移核 あとは回すだけ

TensorFlow Probability でカルマンフィルター(観測値から内部状態を探る)

はじめに カルマンフィルタの意義 TFPでのカルマンフィルタ モジュール データの生成 TFPで線形状態空間モデルを作る カルマンフィルタの実行 追加実験 追加実験1:状態と観測の次元が異なるケース 追加実験2: 不可観測系 最後に

PyTorch1.3 リリース【プロダクト側も本格始動】

はじめに Mobile Support Quantization support C++ Frontend Improvements ONNX Exporter Improvements 所感

TensorFlow 2.0 の速度メモ 【vs PyTorch】

はじめに TensorFlow 2.0 データ モジュール名 データセット モデル作成 モデルのインスタンス化と訓練準備 訓練関数 訓練 PyTorch import データ準備 モデル作成 モデルのインスタンス化と訓練準備 学習コード

ニューラルネットワークを用いた近年の変分推論1

はじめに 変分推論 モデルの書き方 立てたモデルに対する変分近似分布 変分推論 EMアルゴリズムの発展としての変分推論 変分推論の違った見方 近似したいという動機 近似のための損失関数の分解 期待値のサンプリングによる近似 事前分布と変分近似分布のKL…

【訓練誤差と汎化誤差】学習・統計的推定は正しいのか?【過学習】

はじめに 学習の目的と試み 真の目的に対する我々の現実 データのサンプリング(採取) 真の目的と推定・学習の関係 具体的な学習の試み 正則化による統計モデルの制限 ハイパーパラメータの調整 最終評価 (補足)ベイズ推論 理論的な学習の評価 これまでの…

GPyTorchでガウス過程を見てみよう

はじめに ガウス過程(GP) GPyTorchを使ったモデリング コード概要 学習コード データとモデルの準備 学習と結果 ハイパーパラメータの振る舞い lengthscale outputscale 最後に

強化学習に出てくるベルマン方程式を理解しよう

はじめに ベルマン方程式の概要 最適制御と評価関数 最適制御 評価関数 価値関数 ベルマンの最適性原理 ベルマン方程式 価値関数の離散化 状態の時間発展再訪 ベルマン方程式 まとめ 最後に

PyTorch1.X系のテンソル操作と微分操作の基本+ニューラルネットワークの基本

はじめに Tensorの生成 Tensorのメモリ確保 すべての要素が $0$ のTensor すべての要素が $1$ のtensor 各要素が $[0, 1]$ の一様分布から生成されるtensor 各要素が 平均 $0$ 標準偏差 $1$ の正規分布から生成されるtensor Pythonやnumpyの型からtorch.Tens…

強化学習の基本:マルコフ決定過程ってなんぞ?

はじめに 環境とエージェント 環境 マルコフ過程 本当のマルコフ過程 マルコフ決定過程 本当のマルコフ決定過程 強化学習の話をちょっとだけ 最後に

ディープラーニングは自動で特徴を抽出してくれる?

はじめに 特徴抽出とは ニューラルネットワークによる特徴抽出 深層学習は特徴抽出を自動で行うのか 補足:本当に自動機械学習に向けて

ガウシアンプロセスを使ってみたい人への最低限の知識

はじめに ガウス過程の構成要素 パラメータの周辺化消去 カーネル関数 ガウス過程 ガウス過程回帰 ガウス過程分類 最後に

tf.functionのメモ

tf.functionの基本 基本的な役割 実際の使い方 注意点 制御構文 TO DO

TFP: 確率モデルの書き方 with tfd.JointDistiburionSequential

はじめに 色々な分布 正規分布を使った基本 変数の接続が複雑な場合 sample log_prob

KL reverseとKL forwardのメモ

はじめに KLダイバージェンス 表記に関する注意事項 確率分布間の比較 ダイバージェンスの非対称性 KL reverseの計算 KL forwardの計算 確率分布の形状再考 変分推論では KL reverseを利用する

変分推論とVAEまでの流れ

はじめに 確率モデリング 例 ガウス分布から生起するデータ 回帰モデル ベイズモデリング MAP推定 変分推論 VAE Normalizing Flow

AutoMLとは?

はじめに AutoMLのライブラリ H20.ai Auto-Keras AutoSklearn hyperas AutoMLとは 機械学習で生ずる作業 AutoMLの役割 ハイパーパラメータ探索 モデルの選定 特徴選択 AutoMLとは 追記

torch.jit を使ってみたのでメモ

はじめに Python on CPU Python on GPU Torch on CPU Torch on GPU