9. 고유값과 대각화

고유값과 고유벡터

m \times m 정사각행렬 A에 대하여 다음 식을 만족할

A\underline{x} = \lambda\underline{x}

스칼라 $\lambda$ 를 고유값(eigenvalue)이라고 한다.
0이 아닌 벡터 $\underline{x}$ $\in$ $\mathbb{R}^{n}$ 를 고유벡터(eigenvector)라고 한다.

고유값 구하기 : 이론

1. 식 정리 & 행렬식 구하기

우선 식을 정리해야 한다.
- 간단하게, 벡터 $\underline{x}$ 를 기준으로 정리하면 되면 될 것 같다.
- 그러나 람다는 스칼라이고, A는 행렬이기 때문에 단위가 맞지 않다.
- 따라서 단위를 맞추기 위해 항등행렬 I를 곱한다.

(A - \lambda \cdot I)\; \underline{x} = 0

이제 A - \lambda I 의 행렬식을 취한다.
- 람다에 관한 n차 방정식이 나오고, 이를 특성방정식이라고 한다.

det (A - \lambda \cdot I)\; = a\lambda^n + b\lambda^{n-1} + \cdots + c\lambda + c_{1}

2. 특성방정식에서 람다값 구하기

특성방정식을 인수분해하면, 고유값을 구할 수 있다.
- 특성방정식이 3차 이상의 방정식인 경우, 조립제법을 사용해야 함.
a\lambda^n + \cdots + c\lambda + c_{1} = (\lambda - \lambda_{1}) (\lambda - \lambda_{2}) \cdots = 0

3. 람다값 대입

아까 정리했던 식에 방금 구한 고유값을 대입한다. (여기서는 a라고 가정)
$(A - a \cdot I)\; \underline{x} = 0$ $\begin{pmatrix} 2-a & -1 & 0 \\ 0 & 1-a & 0 \\ 0 & 0 & 1-a \end{pmatrix} \begin{pmatrix} x \\ y \\ z \end{pmatrix} = 0$

고유값 구하기 : 예시

다음과 같은 행렬 A가 있다고 가정하자.

A = \begin{pmatrix} 2 & -1 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix}

식을 다음과 같이 정리한다.

A-\lambda I = \begin{pmatrix} 2-\lambda & -1 & 0 \\ 0 & 1-\lambda & 0 \\ 0 & 0 & 1-\lambda \end{pmatrix}

\begin{align*} det(A-\lambda I) &= \begin{Vmatrix} 2-\lambda & -1 & 0 \\ 0 & 1-\lambda & 0 \\ 0 & 0 & 1-\lambda \end{Vmatrix} \\[20pt] &= (2-\lambda)(1-\lambda) (1-\lambda) = 0 \end{align*}

람다값은 1과 2이다.

이를 다시 $(A - \lambda I)\;\underline{x} = 0$ 에 대입한다.

\begin{pmatrix} 1 & -1 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{pmatrix} \begin{pmatrix} x \\ y \\ z \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix}

x - y = 0 \\[10pt] \underline{x} = (a, 0, 0)^{\prime}\quad \underline{x}_{1} = (1, 0, 0)^{\prime}\\

\begin{pmatrix} 0 & -1 & 0 \\ 0 & -1 & 0 \\ 0 & 0 & 0 \end{pmatrix} \begin{pmatrix} x \\ y \\ z \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix}

(-1) \cdot x = 0\quad (-1) \cdot y = 0\quad (0) \cdot z = 0 \\[10pt] \underline{x} = (a, a, b)^{\prime}\quad \underline{x}_{1} = (1, 1, -1)^{\prime}\\

대각화란?

행렬 A를 적절한 행렬 P와 대각행렬 D의 곱으로 표현하는 것.

즉, $A = PDP^{-1}$ 이라고 할 수 있다.

대각화 계산

$A\underline{x} = \lambda\underline{x}$ 를 만든다

\begin{bmatrix} 4 & 2 \\ 3 & 5 \\ \end{bmatrix} \begin{bmatrix} x_{1} \\ x_{2} \end{bmatrix} = \lambda \begin{bmatrix} x_{1} \\ x_{2} \end{bmatrix}

고유값을 구한다.

\begin{align*} \begin{vmatrix} 4-\lambda & 2 \\ 3 & 5-\lambda \\ \end{vmatrix} &=(4-\lambda)(5-\lambda)-6 \\[15pt] = 14 -9\lambda + \lambda^2 &= (\lambda-2)(\lambda-7) \end{align*}

\therefore\;\lambda_1 = 2,\; \lambda_2 = 7

고유벡터를 구한다.

when\; \lambda_1, \\[10pt] \begin{bmatrix} 4-7 & 2 \\ 3 & 5-7 \\ \end{bmatrix} \begin{bmatrix} x_{1} \\ x_{2} \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \\[10pt] \begin{bmatrix} -3 & 2 \\ 3 & -2 \\ \end{bmatrix} \begin{bmatrix} x_{1} \\ x_{2} \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}

\therefore\; \begin{bmatrix} x_{1} \\ x_{2} \end{bmatrix} = \begin{bmatrix} 2 \\ 3 \end{bmatrix}

when\; \lambda_2, \\[10pt] \begin{bmatrix} 4-2 & 2 \\ 3 & 5-2 \\ \end{bmatrix} \begin{bmatrix} x_{1} \\ x_{2} \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}\\[10pt] \begin{bmatrix} 2 & 2 \\ 3 & 3 \\ \end{bmatrix} \begin{bmatrix} x_{1} \\ x_{2} \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}

\therefore\; \begin{bmatrix} x_{1} \\ x_{2} \end{bmatrix} = \begin{bmatrix} 1 \\ -1 \end{bmatrix}

고유벡터를 모은 행렬이 바로 P이다. 또, 고유값을 주대각선으로 배치한 행렬이 바로 D이다.

P = \begin{bmatrix} 2 & -1 \\ 3 & 1 \\ \end{bmatrix} \\[14pt] D = \begin{bmatrix} 7 & 0 \\ 0 & 2 \\ \end{bmatrix}

A를 다시 표현하면 다음과 같다.

A = \begin{bmatrix} 2 & -1 \\ 3 & 1 \\ \end{bmatrix} \begin{bmatrix} 7 & 0 \\ 0 & 2 \\ \end{bmatrix} \begin{bmatrix} 2 & -1 \\ 3 & 1 \\ \end{bmatrix} ^{-1}

행렬의 거듭제곱

$A = P^{-1}DP$ 일때, $A^{n} = P^{-1}D^{n}P$ 로 적을 수 있음.

이때 $D$ 는 대각행렬이기 때문에, 그냥 대각선 원소들을 각각 n승 해주면 됨.

즉 굳이 행렬 A를 반복 계산할 필요가 없음.

\begin{bmatrix} 4 & 2 \\ 3 & 5 \\ \end{bmatrix} = \begin{bmatrix} 2 & -1 \\ 3 & 1 \\ \end{bmatrix} \begin{bmatrix} 7 & 0 \\ 0 & 2 \\ \end{bmatrix} \begin{bmatrix} 2 & -1 \\ 3 & 1 \\ \end{bmatrix} ^{-1}

\begin{bmatrix} 4 & 2 \\ 3 & 5 \\ \end{bmatrix}^{2} = \begin{bmatrix} 2 & -1 \\ 3 & 1 \\ \end{bmatrix} \begin{bmatrix} 7^2 & 0 \\ 0 & 2^2 \\ \end{bmatrix} \begin{bmatrix} 2 & -1 \\ 3 & 1 \\ \end{bmatrix} ^{-1}

대각화와 이차형식

이차형식 : 이차방정식으로 표현할 수 있는 도형을 의미

원의 방정식, 타원의 방정식, 쌍곡선의 방정식, 포물선의 방정식을 포함한다.

(스칼라 형태)

3x_{1}^2 - 4x_{1}x_{2} + 7x_{2}^2

(벡터 형태)

\begin{pmatrix} x_{1} & x_{2} \\ \end{pmatrix} \begin{pmatrix} 3 & -2 \\ -2 & 7 \\ \end{pmatrix} \begin{pmatrix} x_{1} \\ x_{2}\end{pmatrix}

정리하자면,

ax_{1}^2 + bx_{1}x_{2} + cx_{2}^2

\begin{pmatrix} x_{1} & x_{2} \\ \end{pmatrix} \begin{pmatrix} a & b/2 \\ b/2 & c \\ \end{pmatrix} \begin{pmatrix} x_{1} \\ x_{2}\end{pmatrix}

대각화의 성질

모든 정방행렬이 고유값 분해가 가능한 것은 아니다.
그러나 대칭행렬은 항상 고유값 분해가 가능하다.

스펙트럼 분해

고유값 분해에서 A가 대칭행렬인 경우 이를 스펙트럼 분해라고 한다.
- 대칭행렬은 항상 고유값 분해가 가능하며, 직교행렬로 분해할 수 있다.

A = PDP^{T} = PDP^{-1} \\[10pt] \therefore\; P^{T}=P^{-1}

스펙트럼 분해의 특징

행렬 A의 고유값의 집합을 A의 스펙트럼이라고 한다.

또한 A가 대칭행렬이면 다음의 성질을 따른다.

A의 고유값이 n개가
각 고유값에 해당하는 고유공간(=고유벡터)의 차원은 고유값의 ~와 동일
고유공간(=고유벡터)끼리는 서로 직교한다.
서로
이때 A는 정규직교화 가능하다.

스펙트럼 분해 계산하기

고유값과 고유벡터를 구한다.
$A = \begin{pmatrix} 6 & -2 & 1 \\ -2 & 6 & 1 \\ -1 & -1 & 5 \\ \end{pmatrix}$ $\begin{vmatrix} 6-\lambda & -2 & 1 \\ -2 & 6-\lambda & 1 \\ -1 & -1 & 5-\lambda \\ \end{vmatrix} = -(\lambda-8)(\lambda-6)(\lambda-3)$ $\lambda_1 = 8;\; \mathbb{v}_1 = \begin{bmatrix} -1 \\ 1 \\ 0 \end{bmatrix} \\[10pt] \lambda_2 = 6;\; \mathbb{v}_2 = \begin{bmatrix} -1 \\ -1 \\ 2 \end{bmatrix} \\[10pt] \lambda_3 = 3;\; \mathbb{v}_2 = \begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix}$
고유벡터를 정규직교화한다.
$\dfrac{1} {\sqrt{(-1)^2 + 1^2 + 0^2}} \begin{bmatrix} -1 \\ 1 \\ 0 \end{bmatrix} = \begin{bmatrix} \frac{-1}{\sqrt{2}} \\[10pt] \frac{1}{\sqrt{2}} \\[10pt] 0 \end{bmatrix}$ $\dfrac{1} {\sqrt{(-1)^2 + (-1)^2 + 2^2}} \begin{bmatrix} -1 \\ -1 \\ 2 \end{bmatrix} = \begin{bmatrix} \frac{-1}{\sqrt{6}} \\[10pt] \frac{1}{\sqrt{6}} \\[10pt] \frac{2}{\sqrt{6}} \end{bmatrix}$ $\dfrac{1} {\sqrt{1^2 + 1^2 + 1^2}} \begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix} = \begin{bmatrix} \frac{1}{\sqrt{3}} \\[10pt] \frac{1}{\sqrt{3}} \\[10pt] \frac{1}{\sqrt{3}} \end{bmatrix}$
정규직교화된 고유벡터를 모으면 직교행렬이 된다.
$P = \begin{bmatrix} \frac{-1}{\sqrt{2}} & \frac{-1}{\sqrt{6}} & \frac{1}{\sqrt{3}} \\[10pt] \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{3}} \\[10pt] 0 & \frac{2}{\sqrt{6}} & \frac{1}{\sqrt{3}} \end{bmatrix}$ $D = \begin{bmatrix} 8 & 0 & 0 \\ 0 & 6 & 0 \\ 0 & 0 & 3 \end{bmatrix}$
행렬 A를 다시 표기하면 다음과 같다.

A = \begin{bmatrix} \frac{-1}{\sqrt{2}} & \frac{-1}{\sqrt{6}} & \frac{1}{\sqrt{3}} \\[10pt] \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{3}} \\[10pt] 0 & \frac{2}{\sqrt{6}} & \frac{1}{\sqrt{3}} \end{bmatrix} \begin{bmatrix} 8 & 0 & 0 \\ 0 & 6 & 0 \\ 0 & 0 & 3 \end{bmatrix} \begin{bmatrix} \frac{-1}{\sqrt{2}} & \frac{-1}{\sqrt{2}} & 0 \\[10pt] \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{6}} & \frac{2}{\sqrt{6}} \\[10pt] \frac{1}{\sqrt{3}} & \frac{1}{\sqrt{3}} & \frac{1}{\sqrt{3}} \end{bmatrix}