선형대수 16일차

Spectral Theorem

$AA^T = U \sum V^T V \sum^T U^T = U \sum^2 U^T$
$A^TA = V \sum U^T U \sum^T V^T = V \sum^2 V^T$

고유값 분해 관점의 특이값 분해 풀이

행렬 A가 특이값 분해 $A = U\sum V^T$일 때, 행렬 $AA^T$과 $A^TA$를 고유값 분해로 표현이 가능하다.

$det (A - \lambda I) = 0 $

$AA^T = U \sum V^T V \sum^T U^T = U \sum^2 U^T $
$A^TA = V \sum U^T U \sum^T V^T = V \sum^2 V^T$
가 성립한다.

성립하는 조건들

$AA^T$, $A^TA$를 고유값 분해를 하면 모두다 n개의 orthogonal한 관계를 가지며 거기에 해당하는 고유값들은 모두 양수이다

보충 개념

Symmetric matrix

$(AA^T)^T = A^TA$가 성립하면 $AA^T$는 symmetric matrix이다.

대각선을 중심으로 서로 대칭인 형태의 모양

symmetric matrix의 Spectral Theorem

정의 : $S^T = S$

n개의 해가 모두 실근

각 eigenvalue 의 eigen space 차원수 = 특성 방정식의 제곱근 $ \lambda $ 의 곱

1번과 2번을 정리하면 symmetric matrix는 orthogonally diagoalizable하므로 행렬 $S$의 고유벡터(고유공간)은 서로 선형 독립일 뿐만 아니라 직교의 관계를 가진다.

행렬 $S$는 $det (A - \lambda I) = 0 $에서 허근은 안나오며 무조건 실근이 나온다.

eigenspace는 서로 orthogonal하고 따라서

multiplycity

geometric multiplycity

spectral decomposition

positive definite matrics

rank 1 outer product

$S = UDU^-1 = UDU^T = \lambda_1u_1u_1^T + \lambda_2u_2u_2^T \lambda_3u_3u_3^T ...... \lambda_nu_nu_n^T$

$U$는 orthonormal eigen vector 이다.

$ x^TAA^Tx = (A^Tx)^T(A^Tx) = \lvert\lvert A^Tx \lvert \lvert ^2 \geq 0$

왜 성립하는가?

$AA^T$와 $A^TA$가 symmetric positve definite matric라서 성립가능

어떠한 직각행렬 $A \in \mathbb{R}^{m \times n}$은 SVD가 항상 존재

어떠한 정사각행렬 $A \in \mathbb{R}^{m \times m}$은 고유값 분해는 존재하지 않음, SVD는 항상 존재

어떠한 정사각 symmetric positive (semi) definite matrix $S \in \mathbb{R}^{n \times n}$는 고유값 항상 존재, SVD도 항상 존재