どうも、木村（@kimu3_slime）です。
今回は、2変数の確率変数の共分散、相関係数、共分散行列とその性質について紹介します。
共分散
2変数の確率変数\(X,Y\)の共分散（covariance）は、確率変数の期待値を用いて
\[\mathrm{Cov}(X,Y)=E((X-E(X))(Y-E(Y)))\]
と定義されます。\(X\)に関する期待値とのずれと\(Y\)に関する期待値とのずれを、かけて足し合わせたものです。
これはデータ\(x,y \in \mathbb{R}^n\)の共分散
\[ \begin{aligned}\mathrm{Cov}(x,y) = \frac{1}{n-1}\sum _{i=1}^n (x_i -\mathrm{mean}(x))(y_i – \mathrm{mean}(y))\end{aligned} \]
を一般化した形です。
\(X=Y\)のケースを考えると、それは分散に一致します。
\[\begin{aligned} \mathrm{Cov}(X,X)&=E((X-E(X))^2) \\&=V(X) \end{aligned}\]
共分散は、その期待値部分を加法性と平行移動・定数倍の性質を使って分解することで、
\[\begin{aligned} &\mathrm{Cov}(X,Y)\\ &=E(XY – E(Y)X- E(X)Y+E(X)E(Y)) \\&=E(XY)-E(Y)E(X)-E(X)E(Y)+E(X)E(Y)\\&=E(XY)-E(X)E(Y)\end{aligned}\]
と表されます。こちらを定義の式とすることもあるでしょう。
もし\(X,Y\)が互いに独立であるならば、期待値の積の性質\(E(XY)=E(X)E(Y)\)が成り立つので、
\[\mathrm{Cov}(X,Y)=0\]
となります。つまり、独立性は強い条件で、必ず共分散0を導きます。
一方、その逆は必ずしも成り立ちません。共分散0ではあるが、独立でない例が知られています。
相関係数
2つの確率変数\(X,Y\)の相関係数（correlation coefficient）は、
\[ \begin{aligned}\mathrm{Cor}(X,Y) = \frac{\mathrm{Cov}(X,Y)}{\sqrt{V(X)}\sqrt{V(Y)}}\end{aligned} \]
と定義されます。
これはデータの相関係数
\[ \begin{aligned}\mathrm{Cor}(x,y) = \frac{\mathrm{Cov}(x,y)}{\mathrm{Std}(x)\mathrm{Std}(y)}\end{aligned} \]
の一般化です。
相関係数は必ず
\[-1\leq \mathrm{Cor}(X,Y) \leq 1\]
となることが知られています。
確率変数のなす線形空間を考えると、\(\mathrm{Cov}(X,Y)\)はそこにおける内積の定義を満たします。標準偏差\(\sqrt{V(X)}\)がそこから導かられるノルムに対応し、コーシー・シュワルツの不等式から結論が導けます。
確率変数\(X,Y\)が独立であるときは、共分散が0となるので、相関係数は
\[ \begin{aligned}\mathrm{Cor}(X,Y) =0\end{aligned} \]
、つまり相関がない（無相関）となります。
共分散行列
共分散を並べてできる行列
\[\Sigma = \begin{pmatrix} \mathrm{Cov}(X,X)&\mathrm{Cov}(X,Y)\\\mathrm{Cov}(Y,X) & \mathrm{Cov}(Y,Y)\end{pmatrix}\]
を（分散）共分散行列（covariance matrix）と呼びます。対角成分は分散\(V(X),V(Y)\)に等しいです。
もし\(X,Y\)が独立ならば、非対角成分の共分散が0となるため、対角成分に分散が並んだ対角行列になりますね。
\[f(x) = \frac{1}{2\pi \sqrt{\det \Sigma}} \exp (-\frac{1}{2} (x-\mu)^\top \Sigma ^{-1} (x-\mu))\]
は、共分散行列（と平均ベクトル）を指定することで決まります。
共分散行列は、必ず対称な半正定値行列となります。
まず、確率変数の積は、実数の積の可換性から交換できるので、
\[\begin{aligned} \mathrm{Cov}(X,Y)&=E((X-E(X))(Y-E(Y)))\\&=E((Y-E(Y))(X-E(X)))\\&=\mathrm{Cov}(Y,X) \end{aligned}\]
となり、対称行列です。
\(z=(x,y) \in \mathbb{R}^2\)とすると、期待値の和や定数倍の性質に注意すれば、
\[\begin{aligned} & z^\top \Sigma z \\&= \begin{pmatrix} x &y \end{pmatrix} \begin{pmatrix} x\mathrm{Cov}(X,X)+y\mathrm{Cov}(X,Y)\\ x\mathrm{Cov}(Y,X) +y \mathrm{Cov}(Y,Y)\end{pmatrix} \\&= x^2 \mathrm{Cov}(X,X)+2xy \mathrm{Cov}(X,Y)+y^2\mathrm{Cov}(Y,Y)\\ &= E(x^2 (X-E(X))^2)+E(2xy(X-E(X))(Y-E(Y))) \\&\quad +E(y^2 (Y-E(Y))^2) \\ &=E((x(X-E(X))+y (Y-E(Y)))^2)\\ & \geq 0\end{aligned}\]
となります。期待値の因数分解の部分では、\(A=X-E(X)\)、\(B=Y-E(Y)\)と置いて、\(x^2A^2 +2xyAB +y^2B^2 = (xA+yB)^2\)として見るとわかりやすいでしょう。
最後の不等号は、中身の確率変数が二乗の形なので非負であり、それと期待値（和）の単調性（\(X \geq 0 \)ならば\(E(X) \geq 0\)）を用いた結果です。
よって、共分散行列は半正定値行列であることがわかりました。
以上、確率変数の共分散、相関係数、共分散行列とその性質について紹介してきました。
2変数の確率変数を考えるときに、その相互の関係性を調べるには共分散や相関係数の考え方が必要です。一般的な性質と合わせ、独立なときに何が起こるかを知っておくと良いでしょう。
木村すらいむ（@kimu3_slime）でした。ではでは。
Advanced Engineering Mathematics
John Wiley & Sons Inc (2011-05-03T00:00:01Z)
￥5,862 (中古品)
