【矩阵论】1. 准备知识(上)

矩阵论的所有文章，主要内容参考北航赵迪老师的课件

[注]由于矩阵论对计算机比较重要，所以选修了这门课，但不是专业搞数学的，所以存在很多口语化描述，而且对很多东西理解不是很正确与透彻，欢迎大家指正。我可能间歇性忙，但有空一定会回复修改的。

矩阵论
1. 准备知识——复数域上矩阵,Hermite变换
1.准备知识——复数域上的内积域正交阵
1.准备知识——Hermite阵，二次型，矩阵合同，正定阵，幂0阵，幂等阵，矩阵的秩
2. 矩阵分解——SVD准备知识——奇异值
2. 矩阵分解——SVD
2. 矩阵分解——QR分解
2. 矩阵分解——正定阵分解
2. 矩阵分解——单阵谱分解
2. 矩阵分解——正规分解——正规阵
2. 矩阵分解——正规谱分解
2. 矩阵分解——高低分解
3. 矩阵函数——常见解析函数
3. 矩阵函数——谱公式,幂0与泰勒计算矩阵函数
3. 矩阵函数——矩阵函数求导
4. 矩阵运算——观察法求矩阵特征值特征向量
4. 矩阵运算——张量积
4. 矩阵运算——矩阵拉直
4.矩阵运算——广义逆——加号逆定义性质与特殊矩阵的加号逆
4. 矩阵运算——广义逆——加号逆的计算
4. 矩阵运算——广义逆——加号逆应用
4. 矩阵运算——广义逆——减号逆
5. 线性空间与线性变换——线性空间
5. 线性空间与线性变换——生成子空间
5. 线性空间与线性变换——线性映射与自然基分解,线性变换
6. 正规方程与矩阵方程求解
7. 范数理论——基本概念——向量范数与矩阵范数
7.范数理论——基本概念——矩阵范数生成向量范数&谱范不等式
7. 矩阵理论——算子范数
7.范数理论——范数估计——许尔估计&谱估计
7. 范数理论——非负/正矩阵
8. 常用矩阵总结——秩1矩阵，优阵(单位正交阵)，Hermite阵
8. 常用矩阵总结——镜面阵，正定阵
8. 常用矩阵总结——单阵，正规阵，幂0阵，幂等阵，循环阵

---

矩阵论准备知识，很多内容都是线性代数的扩展

1.1 相似

设 A、B为n阶方阵，如果存在可逆阵P，使得 $P^{-1}AP=B$ ，则称A与B相似，记为 $A\sim B$

1.1.1 相似性质

1. 自反性：$A\sim A$ ，$I^{-1}AI=A$
2. 对称性：$A\sim B\Rightarrow B\Rightarrow A$
3. 传递性：$A\sim B且B\sim C\Rightarrow A\sim B$

所以，方阵之间的相似关系是一种等价关系

1.1.2 定理：A与B相似，则有相同特征根公式

若A与B相似，则有
∣ x I − A ∣ = ∣ x I − B ∣

∣xI−A∣=∣xI−B∣​
即A与B的特征根公式相同，其中A与B都是n阶方阵

*证明

可设 $P^{-1}AP=B$ ，则有
∣ x I − B ∣ = ∣ x I − P − 1 A P ∣ = ∣ P − 1 ( x I − A ) P ∣ = 行列式计算 ∣ x I − A ∣

∣xI−B∣​=∣xI−P−1AP∣=∣P−1(xI−A)P∣行列式计算 ∣xI−A∣​
由相似，可将A与B矩阵表示为 $A\sim B$ 或者 $AP=PB$ ，其中P为可逆矩阵

推论

1. n阶方阵 $A_{n\times n}$ 的特征值为 λ ( A ) = { λ 1 , λ 2 , . . . , λ n } \lambda(A)=\{\lambda_1,\lambda_2,...,\lambda_n\} λ(A)={λ1​,λ2​,...,λn​} 可包含重复特征值

   eg
   A = ( 1 1 1 1 ) , λ ( A ) = { 2 , 0 } A = ( 2 1 0 3 ) , λ ( A ) = { 2 , 3 } A = ( 2 1 0 2 ) , λ ( A ) = { 2 , 2 }

   A=(1111),λ(A)={2,0}A=(2103),λ(A)={2,3}A=(2102),λ(A)={2,2}" role="presentation">A=(1111),λ(A)={2,0}A=(2103),λ(A)={2,3}A=(2102),λ(A)={2,2}$$\begin{array}{rl}& A=\left(\begin{array}{c}11\\ 11\end{array}\right),\lambda (A)=\{2,0\}\\ \\ & A=\left(\begin{array}{c}21\\ 03\end{array}\right),\lambda (A)=\{2,3\}\\ \\ & A=\left(\begin{array}{c}21\\ 02\end{array}\right),\lambda (A)=\{2,2\}\end{array}$$
   ​A=(1111​),λ(A)={2,0}A=(2103​),λ(A)={2,3}A=(2102​),λ(A)={2,2}​

2. 进而，特征多项式 $\mid \lambda I-A\mid$ 必可分解为 $\mid (\lambda -{\lambda }_1)(\lambda -{\lambda }_2)...(\lambda -{\lambda }_n)\mid$

3. 若 $A\sim B$ ，则特征多项式相同，进而其分解式相等，得出结论，A与B的特征值相同，即 $\lambda (A)=\lambda (B)$

总结：

$相似\iff 特征多项式相同\Rightarrow 特征值相等$

$特征值相等\stackrel{+实对称矩阵}{\Rightarrow }相似$

特征值是相似变化下的不变量

1.1.3 相似对角化

若 P − 1 A P = Λ = ( λ 1 ⋱ λ n ) P^{-1}AP=\Lambda=\left(

\right) P−1AP=Λ= ​λ1​​⋱​λn​​ ​ ，则 $P$ 中的 $(X_1,X_2,\cdots ,X_n)$ 都是A的特征向量，且 $X_1,X_2,\cdots ,X_n$ 都是A的特征向量，且 $X_1,\cdots ,X_n$ 无关

1.2 换位公式

设问：若 $A=A_{n\times p},B=B_{p\times n}，$且 $p\le n$ ，则 $(A\cdot B)$ 为 n 阶方阵， $(B\cdot A)$ 为 p 阶方阵，求其特征值？

1.2.1 定义

$|\lambda I_n-AB|={\lambda }^{n-p}|\lambda I_p-BA|$

• $AB$ 为 $n$ 阶方阵， $BA$ 为 $P$ 阶方阵

可见 $AB$ 与 $BA$ 两个方阵特征值基本相等

*证明

1.2.2 推论

若 $A=A_{n\times p},B=B_{p\times n}$ ，且 $p\le n$ ，则 $A\cdot B$ 为 n 阶方阵， $B\cdot A$ 为 p 阶方阵

1. 若 $BA$ 的特征根 λ ( B A ) = { λ 1 , λ 2 , . . . , λ p } \lambda(BA)=\{\lambda_1,\lambda_2,...,\lambda_p\} λ(BA)={λ1​,λ2​,...,λp​} ，则 $AB$ 的特征根 λ ( A B ) = { λ 1 , λ 2 . . . , λ p , 0 , . . . , 0 } ( 含 n − p 个零根 ) \lambda(AB)=\{\lambda_1,\lambda_2...,\lambda_p,0,...,0\}(含n-p个零根) λ(AB)={λ1​,λ2​...,λp​,0,...,0}(含n−p个零根) ，可见 $AB$ 与 $BA$ 只差 $n-p$ 个零根，其余根相同

   

   即 $AB$ 与 $BA$ 必有相同非零根

   

2. 由于 AB与BA 只相差 $n-p$ 个零根，所以 $tr(AB)=tr(BA)$

   证：$tr(AB)={\lambda }_1+{\lambda }_2+\cdots +{\lambda }_p+0+\cdots +0=tr(BA)$

3. $\mid I_n\pm AB\mid =\mid I_p\pm BA\mid$ ，当 $\lambda =1,A取-A$ 时，分别可证

4. 若 n>p，则 $\mid AB\mid =0$

   证明：

   $AB$ 为 $n$ 阶矩阵，由于 $r(AB)\le r(A)\le p<n(矩阵的秩越乘越小)$ ，故 $\mid AB\mid =0$

   或者考虑 $AB$ 为 $n$ 阶方阵，必有 $n-p$ 个零特征值，$\mid AB\mid =\prod {\lambda }_i=0$

   

   例3： P = ( I A 0 I ) P = \left(

   IA0I" role="presentation">I0AI$$\begin{array}{cc}I& A\\ 0& I\end{array}$$
   \right) P=(I0​AI​) ，求证 P − 1 = ( I − A 0 I ) P^{-1}=\left(
   I−A0I" role="presentation">I0−AI$$\begin{array}{cc}I& -A\\ 0& I\end{array}$$
   \right) P−1=(I0​−AI​) （其实也就是二阶矩阵求逆）
   A = ( B C D E ) , 则 A − 1 = 1 ∣ A ∣ ( E − C − D B )
   A=(BCDE),则A−1=1|A|(E−C−DB)" role="presentation">A=(BCDE),则A−1=1|A|(E−C−DB)$$\begin{array}{r}A=\left(\begin{array}{c}BC\\ DE\end{array}\right),则A^{-1}=\frac{1}{|A|}\left(\begin{array}{c}E-C\\ -DB\end{array}\right)\end{array}$$
   A=(BCDE​),则A−1=∣A∣1​(E−C−DB​)​

1.3 秩1矩阵

A = ( a 1 b 1 a 1 b 2 ⋯ a 1 b n a 2 b 1 a 2 b 2 ⋯ a 2 b n ⋮ ⋮ ⋱ ⋮ a n b 1 a n b 2 ⋯ a n b n ) n × n = ( a 1 a 2 ⋮ a n ) ( b 1 b 2 ⋯ b n ) = Δ α β T 其中 α = ( a 1 a 2 ⋮ a n ) , β = ( b 1 b 2 ⋮ b n )

A​= ​a1​b1​a2​b1​⋮an​b1​​a1​b2​a2​b2​⋮an​b2​​⋯⋯⋱⋯​a1​bn​a2​bn​⋮an​bn​​ ​n×n​= ​a1​a2​⋮an​​ ​(b1​b2​⋯bn​)=ΔαβT其中α= ​a1​a2​⋮an​​ ​,β= ​b1​b2​⋮bn​​ ​​

1.3.1 秩1矩阵特征方程

∣ λ I n − A ∣ = ∣ λ I n − α n × 1 β 1 × n T ∣ = 换位公式 : ∣ λ n − ( A B ) n ∣ = λ n − p ∣ λ I p − ( B A ) p ∣ λ n − 1 ∣ λ I 1 − β 1 × n T α n × 1 I 1 ∣ = λ n − 1 ( λ I − t r ( A ) ) , 其中 t r ( A ) = ∑ i = 1 n a i i b i i

​∣λIn​−A∣=∣λIn​−αn×1​β1×nT​∣换位公式:∣λn​−(AB)n​∣=λn−p∣λIp​−(BA)p​∣ λn−1∣λI1​−β1×nT​αn×1​I1​∣=λn−1(λI−tr(A)),其中tr(A)=i=1∑n​aii​bii​​

eg

1.3.3 秩1矩阵的特征值

若n阶方阵，秩为1，r(A)=1，则全体特征值为 λ ( A ) = { t r ( A ) , 0 , . . . , 0 } \lambda(A)=\{tr(A),0,...,0\} λ(A)={tr(A),0,...,0} ，其中 $tr(A)=a_1{b}_1+a_2{b}_2+...+a_n{b}_n={\beta }^T\alpha$

证明：

由换位公式可知，${\alpha }_{n\times 1}{\beta }_{1\times n}^T$ 与 ${\beta }_{1\times n}^T{\alpha }_{n\times 1}$ 相差 n-1 个零根，即有一个相等的非零特征根，而 ${\beta }_{1\times n}^T{\alpha }_{n\times 1}$ 为1阶矩阵，所以 ${\lambda }_1={\beta }_{1\times n}^T{\alpha }_{n\times 1}=a_1{b}_1+a_2{b}_2+...+a_n{b}_n=tr(A)$

1.3.4 秩1矩阵特征向量

$A=\alpha {\beta }^T$ 的列向量都是 ${\lambda }_1=tr(A)$ 的特征向量

证明：
A α = ( α β ) α = λ 1 α

Aα=(αβ)α=λ1​α​

eg

A 为秩 1 矩阵， λ ( A ) = { t r ( A ) , 0 , 0 } = { − 2 , 0 , 0 } 可知 ∣ λ I − A ∣ = x 2 ( x + 2 ) , 其中 λ 1 = − 2 , 可取 ( 1 1 2 ) 为 A 的特向， A ( 1 1 2 ) = − 2 ( 1 1 2 )

​A为秩1矩阵，λ(A)={tr(A),0,0}={−2,0,0}可知∣λI−A∣=x2(x+2),其中λ1​=−2,可取 ​112​ ​为A的特向，A ​112​ ​=−2 ​112​ ​​

---

A 为秩 1 矩阵，全体特根 λ ( A ) = { t r ( A ) , 0 , 0 } = { 9 , 0 , 0 } , 可知 ∣ λ I − A ∣ = λ 2 ( λ − 9 ) λ 1 = 9 , 可知 A 的列向量 ( 1 1 − 1 ) 为一个特向， A ( 1 1 − 1 ) = 9 ( 1 1 − 1 )

​A为秩1矩阵，全体特根λ(A)={tr(A),0,0}={9,0,0},可知∣λI−A∣=λ2(λ−9)λ1​=9,可知A的列向量 ​11−1​ ​为一个特向，A ​11−1​ ​=9 ​11−1​ ​​

1.4 平移矩阵

$A+cI$ 称为A的平移矩阵

1.4.1 平移法

特征值

若 λ ( A ) = { λ 1 + c , λ 2 + c , . . . , λ n + c } \lambda(A)=\{\lambda_1+c,\lambda_2+c,...,\lambda_n+c\} λ(A)={λ1​+c,λ2​+c,...,λn​+c}

特征向量

$A+cI$ 与 $A$ 有相同的特征向量

证明：
令 A 的 n 个特征向量 x 1 , x 2 , . . . , x n ，有 A x 1 = λ 1 x 1 , A x 1 = λ 2 x 2 , . . . A x n = λ 1 x n ⇔ { ( A + c I ) x 1 = λ 1 x 1 + c x 1 = ( λ 1 + c ) x 1 ( A + c I ) x 2 = λ 2 x 2 + c x 2 = ( λ 2 + c ) x 2 ⋯ ( A + c I ) x n = λ n x n + c x n = ( λ n + c ) x n 故 λ ( A ) = { λ 1 , λ 2 , . . . , λ n }

\right.\\\\ 故&\lambda(A)=\{\lambda_1,\lambda_2,...,\lambda_n\} \end{aligned} ⇔故​令A的n个特征向量x1​,x2​,...,xn​，有Ax1​=λ1​x1​,Ax1​=λ2​x2​,...Axn​=λ1​xn​⎩ ⎨ ⎧​(A+cI)x1​=λ1​x1​+cx1​=(λ1​+c)x1​(A+cI)x2​=λ2​x2​+cx2​=(λ2​+c)x2​⋯(A+cI)xn​=λn​xn​+cxn​=(λn​+c)xn​​λ(A)={λ1​,λ2​,...,λn​}​

eg：平移法求特征向量

( 1 ) A − E = ( 0 1 0 0 1 0 0 1 0 ) 由秩 1 公式 , λ ( A − E ) = { t r ( A ) , 0 , 0 } , 由平移公式 λ ( A ) = { t r ( A − E ) + 1 , 1 , 1 } = { 2 , 1 , 1 } 且 ( A − E ) 与 A 的特征向量相等， A − E 的列向量 ( 1 1 1 ) ( 2 ) A − E = ( 3 6 0 − 3 − 6 0 − 3 − 6 0 ) , λ ( A − E ) = { − 3 , 0 , 0 } , 故 λ ( A ) = { − 2 , 1 , 1 } , A 的特征向量为 ( 3 − 3 6 )

​(1)A−E= ​010010010​ ​由秩1公式,λ(A−E)={tr(A),0,0},由平移公式λ(A)={tr(A−E)+1,1,1}={2,1,1}且(A−E)与A的特征向量相等，A−E的列向量 ​111​ ​(2)A−E= ​3−3−3​6−6−6​000​ ​,λ(A−E)={−3,0,0},故λ(A)={−2,1,1},A的特征向量为 ​3−36​ ​​

---

A = ( − 1 − 2 6 − 1 0 3 − 1 − 1 4 ) ， A − I = ( − 2 − 2 6 − 1 − 1 3 − 1 − 1 3 ) , λ ( A − I ) = { 0 , 0 , 0 } , 则 λ ( A ) = λ ( A − I ) + 1 = { 1 , 1 , 1 }

​A= ​−1−1−1​−20−1​634​ ​，A−I= ​−2−1−1​−2−1−1​633​ ​,λ(A−I)={0,0,0},则λ(A)=λ(A−I)+1={1,1,1}​

---

A = ( 7 4 − 1 4 7 − 1 − 4 − 4 4 ) , A − 3 I = ( 4 4 − 1 4 4 − 1 − 4 − 4 1 ) , λ ( A − 3 I ) = { 9 , 0 , 0 } λ ( A ) = λ ( A − 3 I ) + 3 = { 12 , 3 , 3 }

​A= ​74−4​47−4​−1−14​ ​,A−3I= ​44−4​44−4​−1−11​ ​,λ(A−3I)={9,0,0}λ(A)=λ(A−3I)+3={12,3,3}​

1.4.2 倍法

若 λ ( A ) = { λ 1 , . . . , λ n } \lambda(A)=\{\lambda_1,...,\lambda_n\} λ(A)={λ1​,...,λn​} ，则 λ ( k A ) = { k λ 1 , k λ 2 , . . . , k λ n , } ( k ≠ 0 ) \lambda(kA)=\{k\lambda_1,k\lambda_2,...,k\lambda_n,\}(k\neq 0) λ(kA)={kλ1​,kλ2​,...,kλn​,}(k=0)

$kA$ 与 $A$ 有相同的特征向量

1.5 复数域

1.5.1 复数

C : { z = a + b i ∣ a , b ∈ R } C:\{z=a+bi\mid a,b\in R\} C:{z=a+bi∣a,b∈R} ，其中 $i^2=-1,\sqrt{-1}=i$

• $R\subset C$ ：实数都是复数
  

$若z=a+bi,则\overline{z}=\overline{a+bi}=a-bi$

a. 复数域表示

$n$ 维实列向量, X = ( x 1 x 2 ⋮ x n ) , x i ∈ R X=\left(

\right),x_i\in R X= ​x1​x2​⋮xn​​ ​,xi​∈R ，$n$ 维实复列向量 X = ( x 1 x 2 ⋮ x n ) , x i ∈ C X=\left(

x1x2⋮xn" role="presentation">x1x2⋮xn$$\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}$$

\right),x_i\in C X= ​x1​x2​⋮xn​​ ​,xi​∈C ，列向量可表示为转置形式 $X={\left(x_1,x_2,...,x_n\right)}^T,X\in C^n$ ，实矩阵 R m × n = { A = ( a i j ) ∣ a i , j ∈ R , 1 ≤ i ≤ m , 1 ≤ j ≤ n } R_{m\times n} = \{A=(a_{ij})\mid a_{i,j}\in R,1\le i\le m,1\le j\le n\} Rm×n​={A=(aij​)∣ai,j​∈R,1≤i≤m,1≤j≤n} ，复矩阵 C m × n = { A = ( a i j ) ∣ a i j ∈ C , 1 ≤ i ≤ m , 1 ≤ j ≤ n } C^{m\times n}=\{A=(a_{ij})\mid a_{ij}\in C,1\le i\le m,1\le j\le n\} Cm×n={A=(aij​)∣aij​∈C,1≤i≤m,1≤j≤n} ，且 $R_{m\times n}\in C^{m\times n}$ ， A m × n = ( a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a m 1 a m 2 ⋯ a m n ) ∈ C m × n A_{m\times n}=\left(

a11a12⋯a1na21a22⋯a2n⋮⋮⋱⋮am1am2⋯amn" role="presentation">a11a21⋮am1a12a22⋮am2⋯⋯⋱⋯a1na2n⋮amn$$\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}$$

\right)\in C^{m\times n} Am×n​= ​a11​a21​⋮am1​​a12​a22​⋮am2​​⋯⋯⋱⋯​a1n​a2n​⋮amn​​ ​∈Cm×n ，可表示为 $A=({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n)$ ，且 ${\alpha }_i\in C^m$

b. 复数性质

1. $\mid z\mid =\mid \overline{z}\mid$
2. $\mid kz\mid =k\mid z\mid ,k\in C$
3. $\mid z_1+z_2\mid \le \mid z_1\mid +\mid z_2\mid$
4. $\overline{z_1\cdot z_2}=\overline{z_1}\cdot \overline{z_2}$

1.5.2 共轭公式

由 $z\overline{z}=(a+bi)(a-bi)=a^2+b^2$

• 规定 $\mid z\mid =\sqrt{a^2+b^2}$ 为z的模长

模公式 $z\overline{z}=\overline{z}z=\mid z{\mid }^2=a^2+b^2$

复矩阵的共轭

A = ( a i j ) = ( a 11 ⋯ a 1 n ⋮ ⋱ ⋮ a n 1 ⋯ a n n ) A=(a_{ij})=\left(

\right) A=(aij​)= ​a11​⋮an1​​⋯⋱⋯​a1n​⋮ann​​ ​ ，$A$ 的共轭矩阵 A ‾ = ( a i j ‾ ) = ( a 11 ‾ ⋯ a 1 n ‾ ⋮ ⋱ ⋮ a n 1 ‾ ⋯ a n n ‾ ) \overline{A} = (\overline{a_{ij}})=\left(

a11¯⋯a1n¯⋮⋱⋮an1¯⋯ann¯" role="presentation">a11¯¯¯¯¯¯¯⋮an1¯¯¯¯¯¯¯⋯⋱⋯a1n¯¯¯¯¯¯¯⋮ann¯¯¯¯¯¯¯$$\begin{array}{ccc}\overline{a_{11}}& \cdots & \overline{a_{1n}}\\ ⋮& \ddots & ⋮\\ \overline{a_{n1}}& \cdots & \overline{a_{nn}}\end{array}$$

\right) A=(aij​​)= ​a11​​⋮an1​​​⋯⋱⋯​a1n​​⋮ann​​​ ​

eg：

乘后共轭=共轭后乘 ： $\overline{A\cdot B}=\overline{A}\cdot \overline{B}$

1.5.3 Hermite变换

共轭转置记为 Hermite 变换，即 $A^H={\overline{A}}^T=\overline{A^T}$

A = ( a i j ) = ( a 11 ⋯ a 1 n ⋯ ⋱ ⋯ a m 1 ⋯ a m n ) ∈ C m × n , A ‾ = ( a 11 ‾ ⋯ a 1 n ‾ ⋮ ⋱ ⋮ a m 1 ‾ ⋯ a m n ‾ ) ∈ C m × n X = ( x 1 x 2 ⋮ x n ) ∈ C n , 则 X H = ( x 1 ‾ , x 2 ‾ , . . . , x n ‾ )

​A=(aij​)= ​a11​⋯am1​​⋯⋱⋯​a1n​⋯amn​ ​∈Cm×n,A= ​a11​​⋮am1​​​⋯⋱⋯​a1n​​⋮amn​​​ ​∈Cm×nX= ​x1​x2​⋮xn​​ ​∈Cn,则XH=(x1​​,x2​​,...,xn​​)​

共轭不会使矩阵变型，转置使矩阵变型 $A\in C^{n\times p}\Rightarrow A^H\in C^{p\times n}$

eg：
A = ( 1 i 1 i 1 i ) ∈ C 3 × 2 , 则 A H = ( 1 − i 1 − i 1 − i ) T = ( 1 1 1 − i − i − i ) ∈ C 2 × 3

A= ​1i1i1i​ ​∈C3×2,则AH= ​1−i1−i1−i​ ​T=(111−i−i−i​)∈C2×3​

a. Hermite变换性质

实数阵的 Hermite 变换仍是其本身

• $a\in C是实数⟺\overline{a}=a⟺a^H=a$

b. Hermite变换相关的矩阵分类