グラム行列A^T Aとは:具体例、性質

どうも、木村(@kimu3_slime)です。

今回は、グラム行列\(A^{\top}A\)とは何か、具体例、一般的な性質を紹介します。

 

グラム行列とは

\(A\)を実成分の\(m,n\)行列とします。\(A\)のグラム行列(gram matrix)とは、\(G:= A^{\top} A\)により定まる行列のことです。ここで\(A^{\top}\)は\(A\)の転置行列です。

\(A\)がたとえ正方行列でなくても、そのグラム行列は良い性質を持つことが知られています。まずは具体的に確かめてみましょう。

 

\[ A=\begin{pmatrix} 1 &2\\2& 1\\3& 3\end{pmatrix}\]

について考えると、そのグラム行列は

\[\begin{eqnarray} &&A^\top A\\ &=&\begin{pmatrix} 1 &2&3\\2& 1& 3 \end{pmatrix}  \begin{pmatrix} 1 &2\\2& 1\\3& 3\end{pmatrix}\\ &=& \begin{pmatrix}14  & 13\\ 13 & 14\end{pmatrix} \end{eqnarray}\]

となります。これは正方行列であり、可逆行列であり、対称行列でもありますね。

 

別の例として、

\[ A=\begin{pmatrix} 1 &2\\2& 4\\3& 6\end{pmatrix}\]

について考えると、そのグラム行列は

\[\begin{eqnarray} &&A^\top A\\ &=&\begin{pmatrix} 1 &2&3\\2& 4& 6 \end{pmatrix}  \begin{pmatrix} 1 &2\\2& 4\\3& 6\end{pmatrix}\\ &=& \begin{pmatrix}14  & 28\\ 28 & 14\end{pmatrix} \end{eqnarray}\]

であり、正方行列、対称行列ではありますが、可逆行列ではありません。

 

グラム行列の性質

こうした具体例が持つ性質は、次のように一般化されます。

\(A\)を\(m ,n\)行列とすると、そのグラム行列\(A^{\top}A\)は必ず正方行列、特に対称行列となります。たとえ\(A\)が正方行列、対称行列でなくても。

\(A\)の列ベクトルを\(a_1,\dots,a_n\)としましょう。グラム行列は

\[\begin{eqnarray} &&A^\top A\\ &=&\begin{pmatrix} a_1 ^\top \\ \vdots  \\ a_n ^\top\end{pmatrix}  \begin{pmatrix} a_1 &\cdots& a_n \end{pmatrix}\\ &=& \begin{pmatrix}a_1 ^\top a_1   & a_1^\top a_2 & \cdots & a_1 ^\top a_n \\ a_2 ^\top a_1 &\cdots && a_2 ^\top a_n \\ \vdots&&& \vdots \\a_n^\top a_1 &\cdots && a_n^\top a_n \end{pmatrix} \\ &=& \begin{pmatrix}\langle a_1 ,a_1 \rangle    & \langle a_1 ,a_2 \rangle  & \cdots & \langle a_1 ,a_n \rangle  \\ \langle a_2 ,a_1 \rangle &\cdots && \langle a_2 ,a_n \rangle  \\ \vdots&&& \vdots \\\langle a_n ,a_1 \rangle  &\cdots && \langle a_n ,a_n \rangle \end{pmatrix} \end{eqnarray}\]

と表される\(n,n\)行列となり、正方行列です。ここで\(\langle \cdot, \cdot \rangle\)はベクトルのユークリッド内積です。

また、その第\(i,j\)成分は\(\langle a_i ,a_j\rangle\)、第\(j,i\)成分は\(\langle a_j ,a_i\rangle\)となっています。内積の対称性\(\langle a_i ,a_j\rangle= \langle a_j ,a_i\rangle\)より、グラム行列は対称行列であると言えました。

対称行列であることは、成分を計算せずとも、単に\((A^\top A)^\top = A^\top (A^\top) ^\top = A^\top A\)と転置の性質によっても確かめられます。

 

\(A\)の列ベクトル\(a_1,\dots,a_n\)が線形独立であることは、そのグラム行列\(A^{\top}A\)が可逆行列であることと同値。

まず一般に、\(x_1,\dots,x_n\)をスカラー、\(x=(x_1,\dots, x_n)\)として、\(x_1a_1+\cdots+x_n a_n=0\)と\(A^\top A x=0\)は同値であることが示せます。\(x_1a_1+\cdots+x_n a_n=0\)を仮定すると、\(a_1,\dots,a_n\)との内積を取れば、\(x_1 \langle a_1,a_1\rangle+ \cdots x_n \langle a_1,a_n\rangle\)、…、\(x_1 \langle a_n,a_1\rangle+ \cdots x_n \langle a_n,a_n\rangle\)といったn本の式が得られます。さきほどの成分表示から、これはを\(A^\top A x =0\)満たします。逆に、\(x\)を\(A^\top A x =0\)を満たすベクトルとしましょう。ここで\(a= x_1 a_1+\cdots+x_n a_n\)と置きます。内積を取ると、仮定より\(\langle a,a_i \rangle= x_1 \langle a_1,a_i\rangle +\cdots+x_n \langle a_n, a_i\rangle =0 \)です。したがって、\(\langle a,a \rangle =x_1\langle a,a_1\rangle +\cdots+x_n \langle a,a_n \rangle = 0\)なので、内積の正定値性より\(a=0\)が言えました。

これによって次のように言い換えられます。\(a_1,\dots,a_n\)が線形独立であるとは、\(x_1a_1+\cdots+x_n a_n=0\)ならば\(x_1 =\cdots =x_n =0\)が成り立つことです。示したことから、\(A^\top Ax =0\)ならば\(x=0\)、つまり\(A^\top A x=0\)は自明解しか持たないことと同値です。行列から定まる線形方程式が自明解しか持たないことは、\(A\)が可逆であることと同値なので、示したいことが言えました。

 

以上、グラム行列がどういうものか具体例を通じて紹介し、対称行列であること、可逆となる同値条件を証明しました。

\(A\)が正方行列でないと、\(Ax=b\)という線形方程式は解を持たないことがあります。それでも、それを近似的に成り立たせるような「解(誤差最小解)」を求めたいことがあって、そんなときにグラム行列は役立ちます。例えば最小二乗法など。

参考:最小二乗法とは:最小二乗解の求め方、正規方程式、射影による理解

もし\(A^\top A\)という形の行列を見かけたら、それはグラム行列と呼ばれるもので、一定の良い性質を持っていることを思い出してみてください。

木村すらいむ(@kimu3_slime)でした。ではでは。

 

明解演習 線形代数 (明解演習シリーズ)
平治, 小寺(著)
共立出版 (1982-07-09T00:00:01Z)
5つ星のうち4.0
¥788 (中古品)

 

世界標準MIT教科書 ストラング:線形代数イントロダクション
ギルバート ストラング(著), 松崎 公紀(翻訳), 新妻 弘(翻訳)
近代科学社 (2015-12-22T00:00:01Z)
5つ星のうち4.6
¥14,721 (コレクター商品)

 

基礎数学1線型代数入門

基礎数学1線型代数入門

posted with AmaQuick at 2021.05.20
齋藤正彦(著)
東京大学出版会 (2019-03-08T00:00:00.000Z)
5つ星のうち4.3
¥1,870

 

こちらもおすすめ

可逆な行列(正則行列)、逆行列とは?例と同値な条件

対称行列の性質:内積による特徴づけ、逆行列、固有値、対角化について

ユークリッド空間R^Nの内積、ノルム、距離について解説