HELLO CYBERNETICS

深層学習、機械学習、強化学習、信号処理、制御工学、量子計算などをテーマに扱っていきます

数学-最適化

JAXとPyTorchで勾配法とニュートン法を試す

はじめに 逐次更新による最適化 大枠 勾配法 数式 勾配法コード例 ニュートン法 数式 ニュートン法のコード例

Chainerで勾配法の基礎の基礎を確認【ニューラルネット入門】

勾配法はニューラルネットワークの学習の基礎になります。基本的な問題を見て、勾配法を確認してみましょう。

ニューラルネットのための最適化数学

はじめに 最適化数学 最適化問題の簡単な例 例題の解法 微分による解法の注意点 凸最適化問題 凸関数 凸関数の定義 ニューラルネットの学習 ニューラルネットの目的関数 ニューラルネットの勾配降下法 パラメータを求める戦略 勾配降下法 ニューラルネットの…