MCMC

MCMCはマルコフ連鎖の定常状態が目的の確率分布になるように，マルコフ連鎖を設計して，そのマルコフ連鎖からモンテカルロ的にサンプリングする，っているイメージ．目的とか用語を1つずつ整理しよう．

• マルコフ連鎖
  マルコフ〇〇というのはたくさんあっていつも忘れる．こういうものは言葉を順番に整理するのが良い．まずは，マルコフ過程．これはマルコフ性のある確率過程のこと．確率過程というのは確率変数の時間変化，マルコフ性というのは次状態が今の状態にのみ依存する，という性質．ちなみに，確率変数とは事象を数値に変換する写像だ．また，現在というのは必ずしも1状態前，という意味ではなく，N状態前を含む状態に展開できるから，マルコフ的というときに必ずしも1状態前という訳ではない．
  　マルコフ過程は時間と状態に関して連続と離散のそれぞれのパタンが考えられる．この内，状態が離散的なマルコフ過程がマルコフ連鎖だ．よくある状態遷移図はまさにそれだ．
  　 　マルコフ連鎖で最も気になるのは定常状態があるかどうか？という問だ．マルコフ連鎖が定常状態を持つ条件は，既約性（すべてのノード間が遷移可能），正再帰性（ずっと既約），非周期性（回らない）の３つを満たす時だ． 　そして，もう一つ．MCMC関連で重要となるのが詳細釣り合い条件が重要だ．これはマルコフ連鎖が定常状態を持つことの十分条件となっている．つまり，詳細釣り合い条件が満たされる場合には，マルコフ連鎖は定常状態を持つ．よって，定常状態を持つマルコフ連鎖を作りたいなら，詳細釣り合い条件を満たすようにすれば良い．