線形回帰，線形モデル
# 一般メモ
- 一次式の回帰を線形回帰というのではない．基底関数の線形結合で回帰されるモデル一般が線形モデル．だから関数自体は非線形になりうる．
- 最小二乗法による回帰係数の最小化は，各点の誤差の分散を最小化することを意味する（らしい）．よって，そもそもの前提としてどの点でも誤差の分散は等しいという仮定が入っている．これを満たさない場合にはLogをとったり，正規化したりする．基底関数としては多項式xiやガウス関数が用いられることが多い．
- 基底関数の次元数が大きくなる方が（説明変数の数が多いほうが）回帰誤差は少なくなる．よって，単純に評価すると説明変数をどんどん増やしてしまうことになる．それを避けるために，説明変数の数もモデルの良さに組み込んだ評価基準が必要になる．その一つがAIC．
- AICなどで逐次モデルを評価してみて比較するのもいいけど，そもそも回帰係数の最適化に説明変数の増加をペナルティとして組み込む方法もあっても良い．それがリッジ回帰やLASSO回帰と呼ばれる手法．特にLASSOは尖っているが故に不要な説明変数が0になりやすく，次元を自動で落としてくれる効果がある．
- 回帰係数の計算は評価指標となる値を回帰係数で偏微分して，それが0になる時，として求めるけれど，重回帰に関しては当然昔から良く解かれていて，行列表記により閉じた形式で求めることができる．（はてなで入力するのが面倒なので上のリンクを参照するとして，簡単に書いておくと，一般的な場合は，b=(X^TX)^-1X^TYとなる，但しX，Yはそれぞれ説明変数と目的変数の行列とベクトル．重み付き回帰の時はb=(X^TWX)^-1X^TWY, 但しWは対角成分に重みを入れた対角行列．:
