線形代数のメモ

統計・機械学習

よく使うけど，よく忘れるので要点を適時メモ．

絶対に忘れちゃダメなこと

  1. 一般事項

　・A≠０，B≠０の時でも，AB＝０になり得る．行列が写像であることを考えると，Aである軸に関して潰して，Bで別の軸に関して潰してBA合わせて０に潰す，みたいなイメージ．
　・単射というのはある点に移動する点が一つであること（つまり写像が次元を潰さない）．
　・全射というのは写像の前後の値域が一致すること（つまり写像適用によって写像後の空間を充填するような写像）
　・写像適用に原点０に移動する点をカーネル（核）と言い，KerAで表記する．
　・写像適用により生成される集合をイメージ（像）と言い，ImAで表記する．
　・nxm行列Aに対して，dim(KerA) + dim(ImA) = n　の次元定理が成立する．直感的には写像後に張っている次元（像の次元）と潰れてしまった次元（カーネルの次元）を足したら全次元，みたいな感じ．
　・イメージの次元，dim(ImA)をAのランクと言う．つまり，写像後の空間の次元．正則行列（つまり逆行列を持つ行列）を適用してもランクは普遍．この特性を利用して，基本操作（行の定数倍，行の交換，ある行の和）を繰り返し適用して斜めに１が並ぶように行列を変形する．線形独立な列ベクトルの本数がランクと等しいからこれでランクが求まる．
　・逆行列の計算は計算精度や演算量の観点から難しい問題．単純に連立方程式の解が欲しい場合などは逆行列を計算してそれを逆から掛けて求めるのではなくガウス消去法などで別の方法で連立方程式の解を求めるほうが良い．
　　つまり，A^-1自体が本当に必要なのか？を考える．{ A^-1 y} が必要なのであれば，{Ax=y} を解く（xが求めたい { A^-1 y} になっている．）
　・行列のノルム，|x|というのは，ある写像の大きさというイメージで，写像後のベクトルが大きくなるか，小さくなるか，反転するか（負の場合），というイメージ．

  1. 逆行列関連（正則性）

　・逆行列が存在する行列を正則行列（Regular）と言う．
　・Aの逆行列Xとは，AX=I，XA=Iを満たす行列X．写像で言うと，逆変換にあたる（Aで変換して，それを戻して元通り，というイメージ）
　・逆行列は一意に決まる．逆に，逆行列，つまりある写像を元に戻す写像が複数ある場合っていうのは，ある点に移動してくる点が複数あるっていう状態だから全単射な写像じゃない．
　・逆行列は正方行列に関してのみ定義される．
　・（AB）の逆行列はB^-1A^-1．これのイメージは（AB）はBしてAするんだから，戻すときは逆に戻して行く，つまりAを戻してBを戻す．
　・求める方法としては基本操作の繰り返しで掃き出す方法．（ガウス＝ジョルダン法，ガウス消去法と言う．ライブラリだとメッソド名がGauss-Jordan eliminationなど）
　・逆行列がある条件とは，下記．（同値）
　　写像が潰されないこと（dimImA=n）
　　Ax=0となる点は０のみ（dimKerA=0）
　　rankA=n
　　detA≠0
　　Aが固有値０を持たない（Ax=λxを満たすλとxを探すときにλが0ならばxが0以外でもAx=0を満たすことになる．つまり，dim(Ker(A))≠0になる）

  1. 転置行列

　・Aの転置行列の意味するところは，x・A(y) = Bx・yを満たすBをAの転置行列と言う．
　・対称行列は転置行列が自分自身であり，ヘッシアンや共分散行列は対称行列であるため上の考え方（と言うか公式）で式変換することがある．
　・（AB)＾TはB^TA^T（逆行列みたい）
　・正方行列の場合には，転置行列の行列式はもとの行列の行列式に等しい．
　・正方行列の場合には，転置行列の逆行列は，逆行列の転置に等しい

  1. 対称行列

　・A^T=Aであるような行列
　・対称行列の固有値は全て実数．
　・実対称行列は容易に対角化できる，つまり実対称行列Aに対して，P^-1AP=Λ変換できるようなPが容易に見つけられる．
　・Aが特に実対称行列である場合，ある直交行列P（P^TP=E）に対して，P^-1AP=ΛとなるPが存在する，但しΛはAの固有値を対角成分に持つ対角行列．特に，実対称行列においては各固有値の固有ベクトルは直交するから，Pには正規化した各固有ベクトルを並べれば良い．
　・対称行列に特化したLU分解がコレスキー分解．
　・対称行列の固有ベクトルは直行する．

  1. 対称行列と二次形式

　・x+y+z, z^2+xy+xzなどのように次数２の多項式を二次形式とよび，行列Aを用いて，x^^TAxの形で記述できる．
　・二次形式の係数行列Aは実対称行列になる．
　・二次形式の特性は係数行列Aの特性を調べることで色々と分かることがある．（例えば半正定値行列であれば凸関数であるなど）

  1. 対角行列

　・対角成分以外がすべて０であるような行列．
　・対角行列の固有値は各対角成分．
　・対角行列の行列式は対角成分の積
　・対角行列の累乗は対角成分の累乗を対角成分にならべたもの．

  1. 直行行列

　・Aの逆行列A^-1がAの転置行列であるような行列．つまり，A^T=A^-1を満たす行列A．
　・直交行列による写像はベクトルの大きさを変化させない，つまり回転行列である．（|Ax|=|x|）．
　・直交行列Aの列ベクトルは正規直交基底をなす．つまり，どの２つの列ベクトル同士も直交しており，どの列ベクトルも大きさが１．

  1. 半正定値行列

　・実対称行列であって，固有値が全て非負．
　・x^TAxがすべてのxに対して正．
　・Aが半正定値行列であるならば，X^TXに分解できる．
　

  1. 固有値・固有ベクトル

　・行列Aに対して，Ap=λpとなるλ,pを固有値と固有ベクトルと言う．
　・固有ベクトルpの幾何的な意味は，写像Aを適用しても回転せずに拡大縮小（λが比率）だけするベクトル．
　・三角行列の固有値は対角成分．
　・固有ベクトル同士は線形独立
　・5次以上の固有値を計算する代数的手法は無い．よって，何かしらの手続きを繰り返し適用して対角行列になるように近づけるということが行われる．実際にはQR法，ヤコビ法が使われる．

  1. LU分解

　・L（左下三角行列）とU（上三角行列）に分解すること．特にLの対角成分が１の場合へ変換できるため，LU分解というつ普通はLの対角成分は１．
　・何のために使うかと言うと，LU分解できれば行列式の計算や連立方程式の解を容易に計算できるため，計算機による数値的手法の基本的部品として使われる．
　・行列式の計算は，行列式det(A)=det(LU)=det(L)det(U)で，上下三角行列の行列式は対角成分の積で，Lは１だから容易に計算できる．
　・１次連立方程式の計算は，LとUを２段階で解くんだけど，三角行列は逐次的な変数代入ですぐに解けるから容易に計算できる．
　・対称行列に特化した方法としてコレスキー分解がある．

  1. QR分解

　・行列Aを直交行列と上三角行列の積に分解する．直交行列が回転行列，上三角行列が拡大縮小操作であることを考えると，行列の操作を要素に分解しているとも見える．
　・QR法の具体的方法としてはグラムシュミット法などがある．


備考集
　・行列の掛け算が要素ごとの掛け算ではなく，あの式である必要性は？
　　要素ごとの掛け算だと，座標変換前後で関係性が保てない．つまり，X+Y=Zの時に，AX+AY ≠ AZになってしまう．あの式だとそれがうまくいくからあの式になっている．
　・基底ベクトルの取り方に依らず，基底ベクトルの数，つまり次元は一定．
　・計算している対象の次元を意識することが大切．例えば，$x^T Qx$ はスカラー，$x^T x$ もスカラー，ということを意識する．
　・行列で表現可能な関数の次元は2次まで．つまり，基本要素の2次の多項式が行列の表す空間．3次以上がテンソルなんだろう，と思っているけど正しいのか．