1. Эмне үчүн SVD? — Менчик ажыратуудан (Eigendecomposition) ашуу
Эскертүү — биз жеңе турган чектөө. Менчик ажыратуу $A = X\Lambda X^{-1}$ үч олуттуу чектөөгө ээ:
- $A$ квадрат ($n \times n$) болушу керек.
- Квадрат болсо да, $A$ кемчиликтүү болушу мүмкүн — $X$ түзүү үчүн жетиштүү сызыктуу көз карандысыз менчик векторлор жок.
- Менчик маанилер комплекстүү болушу мүмкүн, атүгүл реалдуу матрица үчүн да (айлануу матрицасын эстеңиз: $\begin{pmatrix}0&-1\\1&0\end{pmatrix}$, менчик маанилери $\pm i$).
SVD убадасы
Ар бир матрица $A \in \mathbb{R}^{m \times n}$ — квадрат же тик бурчтуу, толук рангдуу же сингулярдуу — төмөнкү факторизацияга ээ:
$$A = U\,\Sigma\,V^{\!\top}$$мында
- $U \in \mathbb{R}^{m \times m}$ — ортогоналдуу матрица (анын мамычалары $\mathbf{u}_1,\dots,\mathbf{u}_m$ $\mathbb{R}^m$ мейкиндигинин ортонормалдуу базисин түзөт).
- $V \in \mathbb{R}^{n \times n}$ — ортогоналдуу матрица (анын мамычалары $\mathbf{v}_1,\dots,\mathbf{v}_n$ $\mathbb{R}^n$ мейкиндигинин ортонормалдуу базисин түзөт).
- $\Sigma \in \mathbb{R}^{m \times n}$ — диагоналдуу матрица, диагоналында $\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_{\min(m,n)} \ge 0$ маанилери бар.
$\sigma_i$ сандары — сингулярдык маанилер. $U$ нун мамычалары — сол сингулярдык векторлор; $V$ нин мамычалары — оң сингулярдык векторлор.
Геометриялык маани
Факторизацияны оңдон солго карай $\mathbf{x}$ векторуна үч операциянын ырааттуулугу катары окуңуз:
$$A\mathbf{x} = U\,(\Sigma\,(V^{\!\top}\mathbf{x}))$$- $V^{\!\top}$: Буруу (кириш мейкиндиги $\mathbb{R}^n$ ичинде). $\mathbf{x}$ ди ортонормалдуу базис $\{\mathbf{v}_1,\dots,\mathbf{v}_n\}$ аркылуу туюнтуу.