矩阵分析与应用(19)

矩阵分析与应用(19)

学习来源：《矩阵分析与应用》张贤达清华大学出版社

奇异值分解

一、奇异值分解及其解释

1. 定理（矩阵的奇异值分解）

令 $A\in R^{m\times n}$ （或 $C^{m\times n}$ ），则存在正交矩阵（或酉矩阵） $U\in R^{m\times m}$ （或 $C^{m\times m}$ ）和 $V\in R^{n\times n}$ （或 $C^{n\times n}$ ）使得

$A=U\Sigma V^T$ （或 $A=U\Sigma V^H$ ）

式中

$\Sigma =\begin{bmatrix} \Sigma_1 &O \\ O &O \end{bmatrix}$

且 $\Sigma_1=diag(\sigma_1,\sigma_2,\cdots ,\sigma_r)$ ，其余对角元素按照顺序

$\sigma_1\geqslant \sigma_2\geqslant \cdots \geqslant \sigma_r> 0,\quad r=rank(A)$

排列。

2. 定义

        若 $\sigma_i\neq \sigma_j,\quad \forall i\neq j$ ，则矩阵 $A_{m\times n}$ 的奇异值 $\sigma_i$ 称为单奇异值。

3. 奇异值和奇异值分解的解释

1） $n\times n$ 矩阵  为酉矩阵，在式 $A=U\Sigma V^T$ 两边右乘  ，得到 $AV=U\Sigma$ ，其列向量形式为

$Av_i=\left\{\begin{matrix} \sigma_i u_i,\quad i=1,2,\cdots ,r \\ 0,\quad i=r+1,r+2,\cdots ,n \end{matrix}\right.$

因此，  的列向量  称为矩阵  的右奇异向量，称为  的右奇异向量矩阵。

2） $m\times m$ 矩阵  是酉矩阵，在式 $A=U\Sigma V^T$ 两边左乘  ，得到 $U^HA=\Sigma V$ ，其列向量形式为

$u_i^HA=\left\{\begin{matrix} \sigma_iv_i^T,\quad i=1,2,\cdots ,r\\ 0,\quad i=r+1,r+2,\cdots ,n \end{matrix}\right.$

因此，  的列向量   称为矩阵  的左奇异向量，并称  为  的左奇异向量矩阵。

3）矩阵  的奇异值分解式 $A=U\Sigma V^T$ 可以改写为向量表达式：

$A=\sum_{i=1}^{r}\sigma_i u_iv_i^H$

这种表达式称为  的并向量（奇异值）分解。

4）由式 $A=U\Sigma V^T$ 可得

$AA^H=U \Sigma^2U^H$

这表明， $m\times n$ 矩阵  的奇异值 $\sigma_i$ 是矩阵乘积  的特征值的正平方根。

5）当矩阵  的秩  时，由于奇异值 $\sigma_{r+1}=\sigma_{r+2}=\cdots =\sigma_h=0,\quad h=min(m,n)$ ，因此奇异值分解公式可以简化为

$A=U_r\Sigma_rV_r^H$

式中，

$U_r=[u_1,u_2,\cdots ,u_r],\quad V_r=[v_1,v_2,\cdots ,v_r],\quad \Sigma_r=diag(\sigma_1,\sigma_2,\cdots ,\sigma_r)$

式 $A=U_r\Sigma_rV_r^H$ 被称为矩阵  的截尾奇异值分解或薄奇异值分解。与之相对地，式 $A=U\Sigma V^T$ 称为全奇异值分解。

6）若矩阵 $A_{m\times n}$ 具有秩  ，则

① $m\times m$ 酉矩阵  的前  列组成矩阵  的列空间的标准正交基。

② $n\times n$ 酉矩阵  的前  列组成矩阵  的行空间（或的列空间）的标准正交基。

③  的后  列组成矩阵  的零空间的标准正交基。

④  的后  列组成矩阵  的零空间的标准正交基。

3. 奇异值的内在含义

        当原 $n\times n$ 矩阵  有一个零奇异值时，该矩阵的秩 $rank(A)\leqslant n-1$ ，即原矩阵  本来就不是满秩的。因此，如果一个正方矩阵具有零奇异值，则该矩阵必定是奇异矩阵。

        一个正方矩阵只要有一个奇异值接近零，那么这个矩阵就接近于奇异矩阵。推而广之，一个非正方的矩阵如果有奇异值为零，则说明这个长方矩阵一定不是列满秩的或者行满秩的。这种情况称为矩阵的秩亏缺，它相对于矩阵的满秩是一种奇异现象。

        无论是正方还是长方矩阵，零奇异值都刻画矩阵的奇异性，这就是矩阵奇异值的内在含义。

二、奇异值的性质

1. 矩阵变形与奇异值的关系

        令矩阵  和  均为 $m\times n$ 矩阵，且  。

        设矩阵  的奇异值排列为

$\sigma_{max}=\sigma_1 \geqslant \sigma_2\geqslant \cdots \geqslant \sigma_{p-1} \geqslant \sigma_p=\sigma_{min}\geqslant 0$

并且用 $\sigma_i(B)$ 表示矩阵  的第  个大奇异值。则矩阵的各种变形与奇异值有以下关系：

1） $m\times n$ 矩阵  的共轭转置  的奇异值分解为

$A^H=V\Sigma^TU^H$

即矩阵  和  具有完全相同的奇异值。

2）  和  分别为 $m\times m$ 和 $n\times n$ 酉矩阵时，  的奇异值分解为

$PAQ^H=\bar{U}\Sigma \bar{V}^H$

其中， $\bar{U}=PU,\bar{V}=QV$ 。也就是说，矩阵  与  具有相同的奇异值，即奇异值具有酉不变性，但奇异向量不同。

3）  的奇异值分解分别为

$A^HA=V\Sigma^T\Sigma V^H,\qquad AA^H=U\Sigma \Sigma^TU^H$

其中

$\Sigma^T\Sigma=diag(\sigma_1^2,\sigma_2^2,\cdots ,\sigma_r^2,\overbrace{0,\cdots ,0}^{n-r})$

$\Sigma \Sigma^T=diag(\sigma_1^2,\sigma_2^2,\cdots ,\sigma_r^2,\overbrace{0,\cdots ,0}^{m-r})$

4） $m\times n$ 矩阵  的奇异值分解与 $n\times m$ 维 Moose-Penrose 广义逆矩阵 $A^\dagger$ 之间存在以下关系：

$A^\dagger =V\Sigma^\dagger U^H$

其中， $\Sigma^\dagger=\begin{bmatrix} \Sigma^{-1} &O \\ O& O \end{bmatrix}$ 。
相关阅读:
JUC五-ForkJoin，JMM和volatile，CAS，自旋锁，死锁
 Mysql报错：1130-host ... is not allowed to connect to this MySql server如何处理
 Java 复习笔记 - 常见算法：API Arrays
Java程序中常用的设计模式有哪些和该种设计模式解决的痛点
 Spring Boot 中的审计
 java springboot 如何实现小程序支付
 【数据结构与算法】LinkedList与链表(上)
TMall商城系统订单模块分析（3）
详解设计模式：单例模式
 揭开MyBatis的神秘面纱：掌握动态代理在底层实现中的精髓
原文地址：https://blog.csdn.net/qq_40206924/article/details/126141869

奇异值分解

一、奇异值分解及其解释

1. 定理（矩阵的奇异值分解）

2. 定义

3. 奇异值和奇异值分解的解释

3. 奇异值的内在含义

二、奇异值的性质

1. 矩阵变形与奇异值的关系