EMアルゴリズム

統計・機械学習

# 何をするものか？

  • 最尤推定のアルゴリズム，特に潜在変数Zを含むようなモデルを仮定した場合の逐次漸近的に最尤推定を行うアルゴリズム．
  • 大まかにはパラメタθを固定して，その固定したθの場合に対して潜在変数Zを最適化（Eステップ），次にZを最適化した値に固定して，そのZの場合に対してθを最尤化，次にその最適化したθを固定して・・・以下繰り返し．
  • このステップは漸近的に尤度を改善することが証明できる．
  • 混合ガウス分布と一緒に説明されることが多いが，EMアルゴリズム自体は混合ガウス分布に限定されない手法．混合ガウス分布における各ガウス分布の重みπを潜在変数として扱います，という例が恰好の例であるため．

# 勉強不足な事

  • どのパラメタをZとして，どのパラメタをθと置くのは解析者の自由？
  • そもそも，Zもパラメタ何だから，θと同じようにZで微分して解析的に最尤値が求まらないの？（と思うけど実際に式展開すると求まらない．θとZが相手の式に残る．）
  • 結局EMアルゴリズムって，最尤法の解が閉じた式で求まらない場合の数値解法ってことなのかな？