웅덩이

SVD

Singular Value Decomposition은 행렬을 여러 행렬로 분해하는 방법이다.
보통 아래와 같은 기호로 표현한다.

$A = U$ $\sum$ $V^T$

행렬 A는 세 행렬로 분해되는데, 각 행렬이 어떤 특성을 갖는지 알아보자.

231203-141325

우선 SVD된 행렬에서 $U$ , $V^T$ 는 normalize 되어있다.
그리고, $\sum$ 는 대각 행렬인데, 원소가 내림차순으로 정렬되어 있다.

여기서 대각행렬이 내림차순으로 정렬된다는 특징이 매우 중요한데, 왜 중요한지 아래의 예시를 보며 알아보자.

\begin{bmatrix} 1 & 2 & 3 \\ 4 & 5 & 6 \end{bmatrix} = \\ \begin{bmatrix} -0.39 & -0.92 \\ -0.92 & 0.39 \end{bmatrix} \times \begin{bmatrix} 9.51 & 0 & 0 \\ 0 & 0.77 & 0 \end{bmatrix} \times \begin{bmatrix} -0.42 & -0.57 & -0.70 \\ 0.81 & 0.11 & -0.58 \\ 0.41 & -0.82 & 0.41 \end{bmatrix}

여기서 $U$ 와 $\sum$ 을 먼저 계산하자.

\begin{bmatrix} -3.68 & -0.71 & 0 \\ -8.8 & 0.30 & 0 \end{bmatrix} \times \begin{bmatrix} -0.42 & -0.57 & -0.70 \\ 0.81 & 0.11 & -0.58 \\ 0.41 & -0.82 & 0.41 \end{bmatrix}

$\sum$ 이 내림차순 정렬되어 있었기 때문에 $U \sum$ 의 1열의 값이 크고, 2열은 값이 작은 것을 확인할 수 있다.

이 때, 위 두 행렬 $U \sum$ 와 $V^T$ 의 i열 i행의 원소만을 가지고 $A_{pi}$ 를 만들어보자.

\begin{bmatrix} {\color{Red} -3.68} & -0.71 & 0 \\ {\color{Orange} -8.8} & 0.30 & 0 \end{bmatrix} \times \begin{bmatrix} {\color{Red} -0.42} & {\color{Orange} -0.57} & {\color{Orange} -0.70} \\ 0.81 & 0.11 & -0.58 \\ 0.41 & -0.82 & 0.41 \end{bmatrix} \\ = {\color{Orange} \begin{bmatrix} {\color{Red} 1.6} & 2.1 & 2.6 \\ 3.8 & 5.0 & 6.2 \end{bmatrix}} = A_{p1}

\begin{bmatrix} -3.68 & {\color{Orange} -0.71} & 0 \\ -8.8 & {\color{Orange} 0.30} & 0 \end{bmatrix} \times \begin{bmatrix} -0.42 & -0.57 & -0.70 \\ {\color{Orange} 0.81} & {\color{Orange} 0.11} & {\color{Orange} -0.58} \\ 0.41 & -0.82 & 0.41 \end{bmatrix} \\ = {\color{Orange} \begin{bmatrix} -0.6 & -0.1 & 0.4 \\ 0.2 & 0 & -0.2 \end{bmatrix}} = A_{p2}

즉, $\sum$ 의 크기 비율에 맞게 $A$ 를 $A_{p1}$ , $A_{p2}$ 로 분해할 수 있다.

근데 이걸 왜 했느냐?
A를 6픽셀의 영상이라고 했을 때, A를 2개의 영상으로 분해한 꼴이다.
이 때, 에너지 레벨이 큰 영상부터 작은 영상 순서대로 분해한 것인데, 에너지 레벨이 크다는 것은 가장 두드러지는 특징을 의미한다.
즉, 사람 얼굴을 예로 들면, 위의 partial 영상부터 타원모양, 눈코입 위치, 피부 질감과 같이 큰 특징 순으로 얼굴영상을 분해한 것이다.

위 예시는 2개의 특징으로밖에 분리를 못하였지만, 아래의 예시를 살펴보자.

231203-143845