どうも、木村(@kimu3_slime)です。
今回は、グラム行列\(A^{\top}A\)とは何か、具体例、一般的な性質を紹介します。
グラム行列とは
\(A\)を実成分の\(m,n\)行列とします。\(A\)のグラム行列(gram matrix)とは、\(G:= A^{\top} A\)により定まる行列のことです。ここで\(A^{\top}\)は\(A\)の転置行列です。
\(A\)がたとえ正方行列でなくても、そのグラム行列は良い性質を持つことが知られています。まずは具体的に確かめてみましょう。
\[ \begin{aligned} A=\begin{pmatrix} 1 &2\\2& 1\\3& 3\end{pmatrix}\end{aligned} \]
について考えると、そのグラム行列は
\[ \begin{aligned} &A^\top A\\ &=\begin{pmatrix} 1 &2&3\\2& 1& 3 \end{pmatrix} \begin{pmatrix} 1 &2\\2& 1\\3& 3\end{pmatrix}\\ &= \begin{pmatrix}14 & 13\\ 13 & 14\end{pmatrix} \end{aligned} \]
となります。これは正方行列であり、可逆行列であり、対称行列でもありますね。
別の例として、
\[ \begin{aligned} A=\begin{pmatrix} 1 &2\\2& 4\\3& 6\end{pmatrix}\end{aligned} \]
について考えると、そのグラム行列は
\[ \begin{aligned} &A^\top A\\ &=\begin{pmatrix} 1 &2&3\\2& 4& 6 \end{pmatrix} \begin{pmatrix} 1 &2\\2& 4\\3& 6\end{pmatrix}\\ &= \begin{pmatrix}14 & 28\\ 28 & 14\end{pmatrix} \end{aligned} \]
であり、正方行列、対称行列ではありますが、可逆行列ではありません。
グラム行列の性質
こうした具体例が持つ性質は、次のように一般化されます。
\(A\)を\(m ,n\)行列とすると、そのグラム行列\(A^{\top}A\)は必ず正方行列、特に対称行列となります。たとえ\(A\)が正方行列、対称行列でなくても。
\(A\)の列ベクトルを\(a_1,\dots,a_n\)としましょう。グラム行列は
\[ \begin{aligned} &A^\top A\\ &=\begin{pmatrix} a_1 ^\top \\ \vdots \\ a_n ^\top\end{pmatrix} \begin{pmatrix} a_1 &\cdots& a_n \end{pmatrix}\\ &= \begin{pmatrix}a_1 ^\top a_1 & a_1^\top a_2 & \cdots & a_1 ^\top a_n \\ a_2 ^\top a_1 &\cdots & a_2 ^\top a_n \\ \vdots&& \vdots \\a_n^\top a_1 &\cdots & a_n^\top a_n \end{pmatrix} \\ &= \begin{pmatrix}\langle a_1 ,a_1 \rangle & \langle a_1 ,a_2 \rangle & \cdots & \langle a_1 ,a_n \rangle \\ \langle a_2 ,a_1 \rangle &\cdots & \langle a_2 ,a_n \rangle \\ \vdots&& \vdots \\\langle a_n ,a_1 \rangle &\cdots & \langle a_n ,a_n \rangle \end{pmatrix} \end{aligned} \]
と表される\(n,n\)行列となり、正方行列です。ここで\(\langle \cdot, \cdot \rangle\)はベクトルのユークリッド内積です。
また、その第\(i,j\)成分は\(\langle a_i ,a_j\rangle\)、第\(j,i\)成分は\(\langle a_j ,a_i\rangle\)となっています。内積の対称性\(\langle a_i ,a_j\rangle= \langle a_j ,a_i\rangle\)より、グラム行列は対称行列であると言えました。
対称行列であることは、成分を計算せずとも、単に\((A^\top A)^\top = A^\top (A^\top) ^\top = A^\top A\)と転置の性質によっても確かめられます。
\(A\)の列ベクトル\(a_1,\dots,a_n\)が線形独立であることは、そのグラム行列\(A^{\top}A\)が可逆行列であることと同値。
まず一般に、\(x_1,\dots,x_n\)をスカラー、\(x=(x_1,\dots, x_n)\)として、\(x_1a_1+\cdots+x_n a_n=0\)と\(A^\top A x=0\)は同値であることが示せます。\(x_1a_1+\cdots+x_n a_n=0\)を仮定すると、\(a_1,\dots,a_n\)との内積を取れば、\(x_1 \langle a_1,a_1\rangle+ \cdots x_n \langle a_1,a_n\rangle\)、…、\(x_1 \langle a_n,a_1\rangle+ \cdots x_n \langle a_n,a_n\rangle\)といったn本の式が得られます。さきほどの成分表示から、これはを\(A^\top A x =0\)満たします。逆に、\(x\)を\(A^\top A x =0\)を満たすベクトルとしましょう。ここで\(a= x_1 a_1+\cdots+x_n a_n\)と置きます。内積を取ると、仮定より\(\langle a,a_i \rangle= x_1 \langle a_1,a_i\rangle +\cdots+x_n \langle a_n, a_i\rangle =0 \)です。したがって、\(\langle a,a \rangle =x_1\langle a,a_1\rangle +\cdots+x_n \langle a,a_n \rangle = 0\)なので、内積の正定値性より\(a=0\)が言えました。
これによって次のように言い換えられます。\(a_1,\dots,a_n\)が線形独立であるとは、\(x_1a_1+\cdots+x_n a_n=0\)ならば\(x_1 =\cdots =x_n =0\)が成り立つことです。示したことから、\(A^\top Ax =0\)ならば\(x=0\)、つまり\(A^\top A x=0\)は自明解しか持たないことと同値です。行列から定まる線形方程式が自明解しか持たないことは、\(A\)が可逆であることと同値なので、示したいことが言えました。
以上、グラム行列がどういうものか具体例を通じて紹介し、対称行列であること、可逆となる同値条件を証明しました。
\(A\)が正方行列でないと、\(Ax=b\)という線形方程式は解を持たないことがあります。それでも、それを近似的に成り立たせるような「解(誤差最小解)」を求めたいことがあって、そんなときにグラム行列は役立ちます。例えば最小二乗法など。
参考:最小二乗法とは:最小二乗解の求め方、正規方程式、射影による理解
もし\(A^\top A\)という形の行列を見かけたら、それはグラム行列と呼ばれるもので、一定の良い性質を持っていることを思い出してみてください。
木村すらいむ(@kimu3_slime)でした。ではでは。
共立出版 (1982-07-09T00:00:01Z)
![5つ星のうち4.0 5つ星のうち4.0](https://images-fe.ssl-images-amazon.com/images/G/09/x-locale/common/customer-reviews/ratings/stars-4-0.gif)
¥788 (中古品)
世界標準MIT教科書 ストラング:線形代数イントロダクション
近代科学社 (2015-12-22T00:00:01Z)
![5つ星のうち4.6 5つ星のうち4.6](https://images-fe.ssl-images-amazon.com/images/G/09/x-locale/common/customer-reviews/ratings/stars-4-5.gif)
¥14,721 (コレクター商品)
東京大学出版会 (2019-03-08T00:00:00.000Z)
![5つ星のうち4.3 5つ星のうち4.3](https://images-fe.ssl-images-amazon.com/images/G/09/x-locale/common/customer-reviews/ratings/stars-4-5.gif)
¥1,870
こちらもおすすめ
対称行列の性質:内積による特徴づけ、逆行列、固有値、対角化について