確率変数の相関係数が-1以上1以下であることの証明

どうも、木村(@kimu3_slime)です。

今回は、確率変数の相関係数が-1以上1以下であることの証明を紹介します。

\[-1\leq \mathrm{Cor}(X,Y) \leq 1\]

 

期待値の積による内積

相関係数が内積の定義を満たすことを示せれば、コーシー・シュワルツの不等式から結論が導けます。

そのために、期待値の積\(\langle X, Y\rangle := E(XY)\)が内積の定義を満たすことをまず示しましょう。

 

内積を考えるには、舞台となる線形空間が必要です。

確率変数\(X\)とは、(可測な)実数値関数\(X:\Omega \to \mathbb{R}\)でした。その集合上に和とスカラー倍

\[(X+Y)(\omega) = X(\omega)+Y (\omega)\]

\[(cX) (\omega) = cX(\omega)\]

を定めることで、線形空間(関数空間)が定まります。

特に今回は共分散を考えたいので、\(X^2 \)の期待値(原点まわりの2次のモーメント)が有限である部分空間を考えましょう。

\[\|X\|_2 := \sqrt{E(X^2)}\]

と置き、

\[ V = \{f :\Omega \to \mathbb{R} \mid \|X\|_2 <\infty\}\]

とすると、\(V\)は\(\|\cdot\|_2\)をノルムとする線形空間になります。

(ほぼ\(L^2 (\Omega)\)が線形空間となる理由と同じです。)

 

\(V\)において、\(\langle X, Y\rangle := E(XY)\)が内積の定義

任意の\(X,Y, Z\in V\)、\(\lambda \in \mathbb{R}\)に対し、

(1) 対称性:\(\langle X,Y\rangle  =\langle X,Y\rangle\)

(2) (二重)線形性:\(\langle \lambda X+Z,Y\rangle = \lambda \langle X,Y\rangle +\langle Z,Y\rangle\)

(3) 正定値性:\(\langle X,X\rangle \geq 0\)。\(a\neq 0\)ならば\(\langle X,X\rangle > 0\)。

を満たすことを確かめましょう。

実数の積は可換なので、\(XY = YX\)が成り立ちます。したがって、\(E(XY)=E(YX)\)なので、対称性を満たします。

期待値は加法性定数倍の性質(線形性)を持ちます。したがって、

\[\begin{aligned} &\langle \lambda X+Z,Y\rangle \\&= E((\lambda X+Z) Y ) \\&= \lambda E(XY)+ E(ZY) \\&= \lambda \langle X,Y\rangle +\langle Z,Y\rangle \end{aligned}\]

が成り立ちます。

\(\langle X,X\rangle = \| X\| _2\)なので、ノルムの正定値性から内積の正定値性が導かれます。

よって、\(\langle X, Y\rangle := E(XY)\)が内積の定義を満たすことが示せました。

 

コーシー・シュワルツの不等式の適用

内積については、一般にコーシー・シュワルツの不等式

\[| \langle Z,W \rangle| \leq \| Z\|_2 \|W\|_2 \]

が成り立ちます。

\(Z= X -E(X)\)、\(W= Y-E(Y)\)とすると、共分散分散の定義から、

\[\begin{aligned} \langle Z,W \rangle &= E( (X -E(X)) (Y-E(Y)) ) \\ &= \mathrm{Cov}(X,Y) \end{aligned} \]

\[\begin{aligned} \|Z\|_2 &= \sqrt{E( (X-E(X))^2 ) }\\ &= \sqrt{V(X)} \end{aligned}\]

\[\begin{aligned} \|W\|_2 &=\sqrt{ V(Y)} \end{aligned}\]

となります。これを不等式に戻せば、

\[|\mathrm{Cov}(X,Y)| \leq \sqrt{ V(X)} \sqrt{ V(Y)}\]

です。\(V(X),V(Y) \neq 0\)のとき、両辺を割れば

\[ |\frac{\mathrm{Cov}(X,Y)}{\sqrt{ V(X)} \sqrt{ V(Y)}}| \leq 1\]

で、これは相関係数の定義なので、

\[-1\leq \mathrm{Cor}(X,Y) \leq 1\]

が示せました。

 

ちなみに、

\[\cos \theta := \mathrm{Cor}(X,Y) = \frac{\mathrm{Cov}(X,Y)}{\sqrt{ V(X)} \sqrt{ V(Y)}}\]

によって、確率変数\(X-E(X),Y-E(Y)\)のなす角度を定義できます。

相関係数が0(無相関)とは、それらが直交していること(内積が0)です。相関係数の絶対値が1になるときは、それらが線形従属であるときです。つまり、直線的な関係になることを意味します。

 

以上、確率変数の相関係数が-1以上1以下であることの証明を紹介してきました。

期待値の積や相関係数が内積であると知ると、相関について幾何学的に考えられて良いですね。

木村すらいむ(@kimu3_slime)でした。ではでは。

 

Advanced Engineering Mathematics
Kreyszig, Erwin(著)
John Wiley & Sons Inc (2011-05-03T00:00:01Z)
5つ星のうち4.5
¥5,862 (中古品)

 

こちらもおすすめ

2変数の確率変数の共分散、相関係数、共分散行列とその性質

コーシー・シュワルツの不等式とは:証明と幾何学的な意味

ユークリッド空間R^Nの内積、ノルム、距離について解説

連続確率変数の平均(期待値)、分散の求め方:一様分布を例に

2変数の確率変数の期待値とは:和と積の性質、証明

確率変数の平均・分散の平行移動、定数倍に関する性質の証明