"機械学習","信号解析","ディープラーニング"の勉強

HELLO CYBERNETICS

深層学習、機械学習、強化学習、信号処理、制御工学などをテーマに扱っていきます

数学-情報理論

統計物理学と機械学習の関係

エントロピーからKLダイバージェンスまでの話

情報理論でエントロピーなる概念を導入し、情報量を定式化したことを前回の記事で紹介しました。 s0sem0y.hatenablog.com 機械学習ではパラメトリックな推定を行う際に真の確率分布p(x)をq(x|θ)で表現するために、KLダイバージェンスKL(p(x)||q(x|θ))を最小…

情報で出てくるエントロピーとは

情報理論は現代のコンピュータが実現されるよりも前からシャノンによって提唱され、そして実際に情報通信技術(符号化や暗号化)の基礎を築いてきました。今回はそんな情報理論のエントロピーにまつわる話です。 機械学習を少し勉強したことがある人にとって…