対称行列のレイリー商とは：最大・最小固有値との関係

どうも、木村（@kimu3_slime）です。

今回は、対称行列のレイリー商とは何か、最大・最小固有値との関係を紹介します。

レイリー商と最大・最小固有値

レイリー商（Rayleigh quotient）とは、行列\(A\)によって定義される多変数関数\(R_A: \mathbb{R}^N \setminus\{0\} \to \mathbb{R}\)

\[ \begin{aligned}R_A(x):= \frac{\langle x, Ax\rangle }{\|x\|^2}\end{aligned} \]

のことです。

分子にあらわれているのは\(A\)の2次形式ですね。つまり、多項式を多項式で割ったような関数です。

見慣れないと、難しい関数に見えるかもしれません。ただし、\(x\)を固有値\(\lambda \)に関する固有ベクトルとするとき、その値は

\[ \begin{aligned} R_A(x)&=\frac{\langle x, \lambda x\rangle }{\|x\|^2} \\ &= \frac{\lambda \langle x,x\rangle}{\|x\|^2}\\&= \lambda\end{aligned} \]

と固有値を返します。商として分母がある理由もわかりますね。レイリー商は、固有値と何かしらの関係を持っていそうです。

例えば、\(N=2\)、

\[ \begin{aligned}A=\begin{pmatrix} 2&0\\ 0&1 \end{pmatrix}\end{aligned} \]

のときに書き下してみると、

\[ \begin{aligned}R_A(x) = \frac{2x_1^2+x_2^2}{x_1^2+x_2^2}\end{aligned} \]

となっています。取りうる値を評価してみると、

\[ \begin{aligned} \frac{2x_1^2+x_2^2}{x_1^2+x_2^2} & \geq\frac{1x_1^2 +x_2^2}{x_1^2+x_2^2} \\ &= 1\ \end{aligned} \]

\[ \begin{aligned} \frac{2x_1^2+x_2^2}{x_1^2+x_2^2} & \leq\frac{2x_1^2 +2x_2^2}{x_1^2+x_2^2} \\ &= 2\ \end{aligned} \]

となっています。\(Ax =1 x\)のとき（\(x\)が1に対応する固有ベクトルのとき）\(R_A(x)=1\)であり、\(Ax =2x\)のとき\(R_A(x)=2\)です。

よって、\(R_A\)は最大値と最小値を持ち、それが\(A\)の最大の固有値と最小値の固有値に一致していることがわかりました。

この結果は偶然ではなく、\(A\)が対称行列という条件で一般化されます。

一般に、レイリー商は定義域が有界閉集合（コンパクト）ではないので、最小値最小値の定理からは最大値・最小値を持つかはわかりません。

しかし、\(A\)が対称行列のとき、レイリー商は最大値・最小値を持ち、さらにはそれらは最大固有値・最小固有値に一致することが知られています。

固有値の最大値最小値定理（Min-max theorem）

\(A\)を対称行列とすると、その固有値は実数です。\(\lambda_{\max }\)を\(A\)の最大の固有値（最大固有値）、\(\lambda_{\min }\)を最小の固有値（最小固有値）とします。次の等式が成り立ちます。

\[ \begin{aligned} \lambda_{\max} &= \max _{x \neq 0}\frac{\langle x, Ax\rangle }{\|x\|^2} \\ &= \max _{\|x\|=1}\langle x, Ax\rangle \end{aligned} \]

\[ \begin{aligned} \lambda_{\min} &= \min _{x \neq 0}\frac{\langle x, Ax\rangle }{\|x\|^2} \\ &= \min _{\|x\|=1}\langle x, Ax\rangle \end{aligned} \]

これを確かめてみましょう。

\(A\)は対称行列なので、直交行列\(P\)により\(P^{-1}AP=D\)、\(D\)は固有値が並んだ対角行列、と対角化できます。固有値を\(\lambda_1,\dots,\lambda_N\)と表記しましょう。

任意に\(x \neq 0\)を選び、\(y=P^{-1}x\)と置きます。\(P\)は可逆行列なので全単射で、\(y \neq 0\)です。このとき、\(APy=PDy\)によって分子を計算すると

\[ \begin{aligned} \langle x,Ax\rangle &= \langle Py,PDy\rangle \\ &= y^\top P^\top PDy \\ &= y^\top D y \\&= \lambda_1y_1^2+\cdots+\lambda_N y_N^2 \end{aligned} \]

となります。\(P\)は直交行列なので、\(P^\top P=I\)に注意。同様に、

\[ \begin{aligned} \|x\|&= \langle Py,Py\rangle \\ &= y^\top P^\top Py\\ &= y^\top y \\&= \|y\| \end{aligned} \]

です。これによってレイリー商を上下に評価すると

\[ \begin{aligned} \frac{\langle x, Ax\rangle}{\|x\|^2} &= \frac{\lambda_1y_1^2+\cdots+\lambda_N y_N^2}{\|y\|^2} \\ & \leq \frac{\lambda _{\max}y_1^2 +\cdots+\lambda_{\max} y_N^2}{\|y\|^2} \\&= \lambda_{\max}\ \end{aligned} \]

\[ \begin{aligned} \frac{\langle x, Ax\rangle}{\|x\|^2} &= \frac{\lambda_1y_1^2+\cdots+\lambda_N y_N^2}{\|y\|^2} \\ & \geq \frac{\lambda _{\min}y_1^2 +\cdots+\lambda_{\min} y_N^2}{\|y\|^2} \\&= \lambda_{\min}\ \end{aligned} \]

となります。また、\(\lambda_{\max}\)に対応する固有ベクトル\(x_{\max}\)、\(\lambda_{\min}\)に対応する固有ベクトル\(x_{\min}\)が等号を成り立たせます。

\[ \begin{aligned} \frac{\langle x_{\max}, Ax_{\max}\rangle}{\|x_{\max}\|^2} &= \frac{\langle x_{\max}, \lambda_{\max }x_{\max}\rangle}{\|x_{\max}\|^2} \\&= \lambda_{\max}\ \end{aligned} \]

\[ \begin{aligned} \frac{\langle x_{\min}, Ax_{\min}\rangle}{\|x_{\min}\|^2} &= \frac{\langle x_{\min}, \lambda_{\min }x_{\min}\rangle}{\|x_{\min}\|^2} \\&= \lambda_{\min}\ \end{aligned} \]

よって、レイリー商には最大値・最小値が存在し、それが\(A\)の最大固有値・最小固有値と等しいことがわかりました。

固有ベクトルの大きさは一般に1とは限りませんが、ノルムで割ることで大きさを1にする（正規化する）ことができます。つまり、

\[ \begin{aligned} \frac{\langle \frac{x_{\max}}{\|x_{\max}\|}, A\frac{x_{\max}}{\|x_{\max}\|}\rangle}{\|\frac{x_{\max}}{\|x_{\max}\|}\|^2} &= \frac{\langle x_{\max}, \lambda_{\max }x_{\max}\rangle}{\|x_{\max}\|^2} \\&= \lambda_{\max}\ \end{aligned} \]

となるので、\(\|x\|=1\)を満たす範囲でも最大値を取ります。よって

\[ \begin{aligned}\max _{x \neq 0}\frac{\langle x, Ax\rangle }{\|x\|^2} = \max _{\|x\|=1}\langle x, Ax\rangle\end{aligned} \]

が言えました。最小値についても同様です。

この等式は、2次形式の条件付き極値問題の解を与えているとも見れます。\(\|x\|=1\)という条件下では、二次形式\(f(x)=\langle x,Ax \rangle\)は最大値最小値を持ち、それは行列の固有値の最大値・最小値である、というわけですね。

参考：条件付き極値問題：ラグランジュの未定乗数法とは

以上、対称行列のレイリー商とは何か、最大・最小固有値との関係を紹介してきました。

今回は実対称行列を考えましたが、複素ならばエルミート行列で同様の主張が成り立ちます。また、べき乗法と呼ばれる固有値の数値計算法も、レイリー商の性質が原理としてあります。

さらに、関数解析では関数空間におけるレイリー商を考えます。典型的な問題が\(-\Delta\)（ラプラシアン）（一般に楕円型作用素）の最小固有値（主固有値）で、それもレイリー商によって特徴づけられます。

今回の話で、レイリー商というものが行列の固有値と強いつながりをもった関数である、ということを感じてもらえたら嬉しいです。

木村すらいむ（@kimu3_slime）でした。ではでは。