グラム行列A^T Aとは：具体例、性質

どうも、木村（@kimu3_slime）です。

今回は、グラム行列\(A^{\top}A\)とは何か、具体例、一般的な性質を紹介します。

グラム行列とは
グラム行列の性質
こちらもおすすめ

グラム行列とは

\(A\)を実成分の\(m,n\)行列とします。\(A\)のグラム行列（gram matrix）とは、\(G:= A^{\top} A\)により定まる行列のことです。ここで\(A^{\top}\)は\(A\)の転置行列です。

\(A\)がたとえ正方行列でなくても、そのグラム行列は良い性質を持つことが知られています。まずは具体的に確かめてみましょう。

\[ \begin{aligned} A=\begin{pmatrix} 1 &2\\2& 1\\3& 3\end{pmatrix}\end{aligned} \]

について考えると、そのグラム行列は

\[ \begin{aligned} &A^\top A\\ &=\begin{pmatrix} 1 &2&3\\2& 1& 3 \end{pmatrix} \begin{pmatrix} 1 &2\\2& 1\\3& 3\end{pmatrix}\\ &= \begin{pmatrix}14 & 13\\ 13 & 14\end{pmatrix} \end{aligned} \]

となります。これは正方行列であり、可逆行列であり、対称行列でもありますね。

別の例として、

\[ \begin{aligned} A=\begin{pmatrix} 1 &2\\2& 4\\3& 6\end{pmatrix}\end{aligned} \]

について考えると、そのグラム行列は

\[ \begin{aligned} &A^\top A\\ &=\begin{pmatrix} 1 &2&3\\2& 4& 6 \end{pmatrix} \begin{pmatrix} 1 &2\\2& 4\\3& 6\end{pmatrix}\\ &= \begin{pmatrix}14 & 28\\ 28 & 14\end{pmatrix} \end{aligned} \]

であり、正方行列、対称行列ではありますが、可逆行列ではありません。

グラム行列の性質

こうした具体例が持つ性質は、次のように一般化されます。

\(A\)を\(m ,n\)行列とすると、そのグラム行列\(A^{\top}A\)は必ず正方行列、特に対称行列となります。たとえ\(A\)が正方行列、対称行列でなくても。

\(A\)の列ベクトルを\(a_1,\dots,a_n\)としましょう。グラム行列は

\[ \begin{aligned} &A^\top A\\ &=\begin{pmatrix} a_1 ^\top \\ \vdots \\ a_n ^\top\end{pmatrix} \begin{pmatrix} a_1 &\cdots& a_n \end{pmatrix}\\ &= \begin{pmatrix}a_1 ^\top a_1 & a_1^\top a_2 & \cdots & a_1 ^\top a_n \\ a_2 ^\top a_1 &\cdots & a_2 ^\top a_n \\ \vdots&& \vdots \\a_n^\top a_1 &\cdots & a_n^\top a_n \end{pmatrix} \\ &= \begin{pmatrix}\langle a_1 ,a_1 \rangle & \langle a_1 ,a_2 \rangle & \cdots & \langle a_1 ,a_n \rangle \\ \langle a_2 ,a_1 \rangle &\cdots & \langle a_2 ,a_n \rangle \\ \vdots&& \vdots \\\langle a_n ,a_1 \rangle &\cdots & \langle a_n ,a_n \rangle \end{pmatrix} \end{aligned} \]

と表される\(n,n\)行列となり、正方行列です。ここで\(\langle \cdot, \cdot \rangle\)はベクトルのユークリッド内積です。

また、その第\(i,j\)成分は\(\langle a_i ,a_j\rangle\)、第\(j,i\)成分は\(\langle a_j ,a_i\rangle\)となっています。内積の対称性\(\langle a_i ,a_j\rangle= \langle a_j ,a_i\rangle\)より、グラム行列は対称行列であると言えました。

対称行列であることは、成分を計算せずとも、単に\((A^\top A)^\top = A^\top (A^\top) ^\top = A^\top A\)と転置の性質によっても確かめられます。

\(A\)の列ベクトル\(a_1,\dots,a_n\)が線形独立であることは、そのグラム行列\(A^{\top}A\)が可逆行列であることと同値。

まず一般に、\(x_1,\dots,x_n\)をスカラー、\(x=(x_1,\dots, x_n)\)として、\(x_1a_1+\cdots+x_n a_n=0\)と\(A^\top A x=0\)は同値であることが示せます。\(x_1a_1+\cdots+x_n a_n=0\)を仮定すると、\(a_1,\dots,a_n\)との内積を取れば、\(x_1 \langle a_1,a_1\rangle+ \cdots x_n \langle a_1,a_n\rangle\)、…、\(x_1 \langle a_n,a_1\rangle+ \cdots x_n \langle a_n,a_n\rangle\)といったn本の式が得られます。さきほどの成分表示から、これはを\(A^\top A x =0\)満たします。逆に、\(x\)を\(A^\top A x =0\)を満たすベクトルとしましょう。ここで\(a= x_1 a_1+\cdots+x_n a_n\)と置きます。内積を取ると、仮定より\(\langle a,a_i \rangle= x_1 \langle a_1,a_i\rangle +\cdots+x_n \langle a_n, a_i\rangle =0 \)です。したがって、\(\langle a,a \rangle =x_1\langle a,a_1\rangle +\cdots+x_n \langle a,a_n \rangle = 0\)なので、内積の正定値性より\(a=0\)が言えました。

これによって次のように言い換えられます。\(a_1,\dots,a_n\)が線形独立であるとは、\(x_1a_1+\cdots+x_n a_n=0\)ならば\(x_1 =\cdots =x_n =0\)が成り立つことです。示したことから、\(A^\top Ax =0\)ならば\(x=0\)、つまり\(A^\top A x=0\)は自明解しか持たないことと同値です。行列から定まる線形方程式が自明解しか持たないことは、\(A\)が可逆であることと同値なので、示したいことが言えました。

以上、グラム行列がどういうものか具体例を通じて紹介し、対称行列であること、可逆となる同値条件を証明しました。

\(A\)が正方行列でないと、\(Ax=b\)という線形方程式は解を持たないことがあります。それでも、それを近似的に成り立たせるような「解（誤差最小解）」を求めたいことがあって、そんなときにグラム行列は役立ちます。例えば最小二乗法など。

参考：最小二乗法とは：最小二乗解の求め方、正規方程式、射影による理解

もし\(A^\top A\)という形の行列を見かけたら、それはグラム行列と呼ばれるもので、一定の良い性質を持っていることを思い出してみてください。

木村すらいむ（@kimu3_slime）でした。ではでは。