概要 機械学習とか統計を勉強していると情報量とかエントロピーの話が出てきていつも復習をし直しているので，纏めておく． 全体の１行まとめ 情報量 -> 平均値がエントロピー -> ２つのエントロピーの差分が相互情報量 -> 相対エントロピー。 各量の１行ま…