线性代数学习笔记9-3：相似矩阵、对角矩阵是特殊的相似矩阵、若尔当标准型Jordan form

之前指出，矩阵的特征值和特征向量蕴含在相似对角化$\mathbf{A}={\mathbf{S}}^{-1}\mathbf{\Lambda }\mathbf{S}$中

下面将看到，“相似对角化”是相似矩阵$\mathbf{A}\sim \mathbf{B}$的特例，且一系列相似矩阵都具有相同特征值

• 当$\mathbf{A}$有n个无关特征向量，存在一个相似矩阵为对角阵，可以相似对角化$\mathbf{A}={\mathbf{S}}^{-1}\mathbf{\Lambda }\mathbf{S}$
• 当$\mathbf{A}$没有n个无关特征向量，相似矩阵中只有Jordan标准型（接近对角阵，其中每个Jordan块对应一个无关特征向量），不能相似对角化，只能做近似“对角化”的处理

相似矩阵 Similar matrices

之前说过，$\mathbf{A}$与$\mathbf{B}$互为相似矩阵，即$\mathbf{A}\sim \mathbf{B}$，则它们满足关系$\mathbf{B}={\mathbf{M}}^{-1}\mathbf{AM}$
其中，$\mathbf{M}$称为过渡矩阵，它表现了基与基之间的一个可逆线性变换

其几何意义是，相似矩阵$\mathbf{A}$与$\mathbf{B}$是同一个线性变换，只不过它们作用于从不同的坐标系（依赖于不同的基向量）

相似矩阵的特点是：

• 大多数情况下，矩阵$\mathbf{A}$具有一系列（大量）相似矩阵：任意用一个可逆矩阵$\mathbf{M}$就能得到一个相似矩阵${\mathbf{M}}^{-1}\mathbf{AM}=\mathbf{B}$
• 一系列相似矩阵具有相同的特征值，线性无关的特征向量个数相等，且特征向量之间也有一定联系
  具体而言，$\mathbf{A}$的特征值和特征向量为$\lambda$和$\mathbf{x}$，则$\mathbf{B}$的特征值和特征向量为$\lambda$和${\mathbf{M}}^{-1}\mathbf{x}$

证明：相似矩阵具有相同的特征值，且特征向量之间也有一定联系
$\mathbf{A}$与$\mathbf{B}$互为相似矩阵，则$\mathbf{B}={\mathbf{M}}^{-1}\mathbf{AM}$
$\mathbf{A}$的特征值：$\mathbf{A}\mathbf{x}=\lambda \mathbf{x}$
稍作变形，得到$\mathbf{A}\mathbf{x}=\mathbf{AM}{\mathbf{M}}^{-1}\mathbf{x}=\lambda \mathbf{x}$；
左乘${\mathbf{M}}^{-1}$得到$({\mathbf{M}}^{-1}\mathbf{AM}){\mathbf{M}}^{-1}\mathbf{x}=\lambda {\mathbf{M}}^{-1}\mathbf{x}$
$\mathbf{B}$的特征值：$\mathbf{B}({\mathbf{M}}^{-1}\mathbf{x})=\lambda ({\mathbf{M}}^{-1}\mathbf{x})$

• 若$\mathbf{A}\sim \mathbf{B}$，则${\mathbf{A}}^k\sim {\mathbf{B}}^k$

证明：由于$\mathbf{B}={\mathbf{M}}^{-1}\mathbf{AM}$，则${\mathbf{B}}^k=({\mathbf{M}}^{-1}\mathbf{AM}{)}^K={\mathbf{M}}^{-1}{\mathbf{A}}^{\mathbf{K}}\mathbf{M}$
这就是说${\mathbf{A}}^k\sim {\mathbf{B}}^k$

特征值对相似矩阵的影响

矩阵的特征值情况不同，其具有的相似矩阵不同，下面分情况讨论

特征值互不相同（对角矩阵是特殊的相似矩阵）

一般而言，矩阵$\mathbf{A}$具有一系列（大量）相似矩阵：任意用一个可逆矩阵$\mathbf{M}$就能得到一个相似矩阵${\mathbf{M}}^{-1}\mathbf{AM}=\mathbf{B}$

特征值互不相同时，$\mathbf{A}$必然具有n个线性无关的特征向量（从而保证下方的特征向量矩阵$\mathbf{S}$可逆），则此时可以对角化$$\mathbf{A}={\mathbf{S}}^{-1}\mathbf{\Lambda S}$$其中$\mathbf{\Lambda }$为$\mathbf{A}$的特征值、$\mathbf{S}$为特征向量矩阵

可见：

• 若矩阵$\mathbf{A}$特征值互不相同，将会得到一个特殊的相似矩阵：$\mathbf{A}\sim 对角阵\mathbf{\Lambda }$
  这相当于${\mathbf{M}}^{-1}\mathbf{AM}=\mathbf{B}$中，取$\mathbf{M}={\mathbf{S}}^{-1}$的情况，得到$\mathbf{SA}{\mathbf{S}}^{-1}=\mathbf{\Lambda }$
• 当然，$\mathbf{A}$也有其他的相似矩阵：即${\mathbf{M}}^{-1}\mathbf{AM}=\mathbf{B}$取其他$\mathbf{M}$的情况
• 在$\mathbf{A}$的一系列相似矩阵中，对角阵$\mathbf{\Lambda }$是最简洁的一个

例如，对于 A = [ 2 1 1 2 ] \boldsymbol{A}=\left[

2112" role="presentation" style="position: relative;">2112$$\begin{array}{ll}2& 1\\ 1& 2\end{array}$$

\right] A=[21​12​]
取 M = [ − 2 2 2 2 2 2 2 2 ] \mathbf M=\left[

−22222222" role="presentation" style="position: relative;">−2√22√22√22√2$$\begin{array}{ll}-\frac{\sqrt{2}}{2}& \frac{\sqrt{2}}{2}\\ \frac{\sqrt{2}}{2}& \frac{\sqrt{2}}{2}\end{array}$$

\right] M=[−22 ​​22 ​​​22 ​​22 ​​​]，可得 M − 1 A M = Λ = [ 3 0 0 1 ] \mathbf {M^{-1}AM}=\boldsymbol{\Lambda}=\left[

3001" role="presentation" style="position: relative;">3001$$\begin{array}{ll}3& 0\\ 0& 1\end{array}$$

\right] M−1AM=Λ=[30​01​]
取 M = [ 1 4 0 1 ] \mathbf M=\left[

1401" role="presentation" style="position: relative;">1041$$\begin{array}{ll}1& 4\\ 0& 1\end{array}$$

\right] M=[10​41​]，可得 M − 1 A M = B = [ − 2 − 15 1 6 ] \mathbf {M^{-1}AM}=\boldsymbol{B}=\left[

−2−1516" role="presentation" style="position: relative;">−21−156$$\begin{array}{cc}-2& -15\\ 1& 6\end{array}$$

\right] M−1AM=B=[−21​−156​]

重复的特征值

$\mathbf{A}$具有重复的特征值时，则可能无法对角化（关键在于是否有n个线性无关的特征向量）
此时，又要分为两种情况讨论：

1. 有n个线性无关特征向量，可以对角化，但唯一的相似矩阵是它本身

例如 A = [ 4 0 0 4 ] \mathbf A={\left[

\right]} A=[40​04​]，有两个线性无关特征向量

• 可以对角化：$\mathbf{A}={\mathbf{S}}^{-1}\mathbf{\Lambda S}$，其中$\mathbf{\Lambda }=\mathbf{A}$，$\mathbf{S}=\mathbf{I}$，也就是说，特征向量为 [ 1 0 ] {\left[
  10" role="presentation" style="position: relative;">10$$\begin{array}{l}1\\ 0\end{array}$$
  \right]} [10​] 和 [ 0 1 ] {\left[
  01" role="presentation" style="position: relative;">01$$\begin{array}{l}0\\ 1\end{array}$$
  \right]} [01​]
• 没有一系列相似矩阵，唯一的相似矩阵是它本身
  因为矩阵$\mathbf{A}=4\mathbf{I}$，无论如何取，相似矩阵都得到它本身 M − 1 A M = 4 M − 1 I M = 4 I = [ 4 0 0 4 ] \boldsymbol{M}^{-1}\mathbf A\boldsymbol{M} =4 \boldsymbol{M}^{-1} \boldsymbol{I} \boldsymbol{M} =4\mathbf I=\left[
  4004" role="presentation" style="position: relative;">4004$$\begin{array}{ll}4& 0\\ 0& 4\end{array}$$
  \right] M−1AM=4M−1IM=4I=[40​04​]

2.无法对角化，有一系列相似矩阵，但相似矩阵中没有对角阵，只有若尔当标准型

例如 A = [ 4 1 0 4 ] \mathbf A={\left[

\right]} A=[40​14​]，只有一个线性无关的特征向量

• 由于只有一个线性无关的特征向量，$\mathbf{A}$不能对角化

另一理解：假设可以对角化，那么其相似矩阵为特征值矩阵，即上面1中的矩阵$4\mathbf{I}$，而上面说过$4\mathbf{I}$只与自己相似

• 因此，虽然$\mathbf{A}$有一系列的相似矩阵，但是所有相似矩阵中，“最好”的、最接近对角阵的（但无法真正对角化）一个就是 [ 4 1 0 4 ] {\left[
  4104" role="presentation" style="position: relative;">4014$$\begin{array}{ll}4& 1\\ 0& 4\end{array}$$
  \right]} [40​14​]

注意，对于这种不能实现对角化的情况，我们在一系列相似矩阵中，挑选出最简洁、最接近对角矩阵的那一个，称为若尔当标准型Jordan form；

例如，这里有一系列相似矩阵 [ 4 10 0 4 ] {\left[

41004" role="presentation" style="position: relative;">40104$$\begin{array}{ll}4& 10\\ 0& 4\end{array}$$

\right]} [40​104​]、 [ 4 1 0 6 0 4 ] {\left[

410604" role="presentation" style="position: relative;">401064$$\begin{array}{ll}4& {10}^6\\ 0& 4\end{array}$$

\right]} [40​1064​]等，其中的 [ 4 1 0 4 ] {\left[

4104" role="presentation" style="position: relative;">4014$$\begin{array}{ll}4& 1\\ 0& 4\end{array}$$

\right]} [40​14​]若尔当标准型

另外，还可以列举更多上述的“一系列相似矩阵”：根据相似不变量“迹”和“行列式”，只要矩阵的迹为8，行列式为16，就是这里的相似矩阵
例如 [ 5 1 − 1 3 ] , [ 4 0 17 4 ] , [ a ∗ ∗ 8 − a ] … … \left[

51−13" role="presentation" style="position: relative;">5−113$$\begin{array}{cc}5& 1\\ -1& 3\end{array}$$

\right], \left[

40174" role="presentation" style="position: relative;">41704$$\begin{array}{cc}4& 0\\ 17& 4\end{array}$$

\right], \left[

a∗∗8−a" role="presentation" style="position: relative;">a∗∗8−a$$\begin{array}{cc}a& \ast \\ \ast & 8-a\end{array}$$

\right] \ldots \ldots [5−1​13​],[417​04​],[a∗​∗8−a​]……它们都不能对角化（因为若可以对角化则按照特征值可知结果为4I，而4I只与自己相似）

若尔当标准型 Jordan form

根据上面所述，矩阵可以分为两种类型：

1. 如果矩阵$\mathbf{A}$有n个线性无关的特征向量（可能会有重复特征值），可以对角化，那么其相似矩阵中最简洁的一个是对角矩阵，获取方式就是矩阵的对角化操作$\mathbf{A}={\mathbf{S}}^{-1}\mathbf{\Lambda S}$（即：求特征值和特征向量）
2. 如果矩阵$\mathbf{A}$没有n个线性无关的特征向量（必然有重特征值），不能对角化，其相似矩阵中最简洁、“最接近对角矩阵”的那一个，称为若尔当标准型 Jordan form
   也可以说，若尔当标准型就是对 不可对角化的矩阵完成近似“对角化”的处理

一般的，任意n阶矩阵$\mathbf{A}$一定相似于一个若尔当矩阵Jordan matrix $\mathbf{J}$，该矩阵称为$\mathbf{A}$的若尔当标准型

• 若尔当矩阵$\mathbf{J}$由多个若尔当块构成 J = [ J 1 0 ⋯ 0 0 J 2 ⋯ 0 ⋮ ⋱ ⋮ 0 0 ⋯ J d ] \boldsymbol{J}=\left[
  J10⋯00J2⋯0⋮⋱⋮00⋯Jd" role="presentation">J10⋮00J20⋯⋯⋱⋯00⋮Jd$$\begin{array}{cccc}{\mathit{J}}_1& 0& \cdots & 0\\ 0& {\mathit{J}}_2& \cdots & 0\\ ⋮& & \ddots & ⋮\\ 0& 0& \cdots & {\mathit{J}}_d\end{array}$$
  \right] J=⎣ ⎡​J1​0⋮0​0J2​0​⋯⋯⋱⋯​00⋮Jd​​⎦ ⎤​
• 其中，若尔当块形如 J i = [ λ i 1 0 ⋯ 0 0 λ i 1 ⋱ ⋮ 0 0 ⋱ ⋱ 0 ⋮ ⋱ ⋱ 1 0 0 ⋯ 0 λ i ] \boldsymbol{J i}=\left[
  λi10⋯00λi1⋱⋮00⋱⋱0⋮⋱⋱100⋯0λi" role="presentation" style="position: relative;">λi00⋮01λi0001⋱⋱⋯⋯⋱⋱⋱00⋮01λi$$\begin{array}{ccccc}{\lambda }_i& 1& 0& \cdots & 0\\ 0& {\lambda }_i& 1& \ddots & ⋮\\ 0& 0& \ddots & \ddots & 0\\ ⋮& & \ddots & \ddots & 1\\ 0& 0& \cdots & 0& {\lambda }_i\end{array}$$
  \right] Ji=⎣ ⎡​λi​00⋮0​1λi​00​01⋱⋱⋯​⋯⋱⋱⋱0​0⋮01λi​​⎦ ⎤​，对角线上全是重特征值${\lambda }_i$，上对角线全是1，每个若尔当块对应一个（线性无关的）特征向量（也就是说，有多少个线性无关特征向量，就有多少个若尔当块）
• 实际上，对于可以对角化的矩阵，其若尔当标准型就是对角矩阵$\mathbf{\Lambda }$，对应于「所有若尔当块都为一阶」的特殊情况（即：有n个线性无关特征向量）
  而如果出现重特征值，则特征向量个数变少（若尔当块数量变少），这就是更一般的情况
• 两个矩阵，（即使特征值相同、特征向量个数相等），其若尔当标准型（中的若尔当块）完全相同时，这两个矩阵才是相似的

例如，对于 A = [ 0 1 7 0 0 0 1 0 0 0 0 0 0 0 0 0 ] \boldsymbol{A}=\left[

0170001000000000" role="presentation" style="position: relative;">0000100071000000$$\begin{array}{llll}0& 1& 7& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}$$

\right] A=⎣ ⎡​0000​1000​7100​0000​⎦ ⎤​和 C = [ 0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 ] \boldsymbol{C} =\left[

0100000000010000" role="presentation" style="position: relative;">0000100000000010$$\begin{array}{llll}0& 1& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 1\\ 0& 0& 0& 0\end{array}$$

\right] C=⎣ ⎡​0000​1000​0000​0010​⎦ ⎤​,
虽然两个矩阵都具有四重特征值${\lambda }_1={\lambda }_2={\lambda }_3={\lambda }_4=0$、都只有两个线性无关的特征向量（求解$\mathbf{A}\mathbf{x}=0\mathbf{x}$，由于矩阵的秩$r=2$，故零空间只有$n-r=4-2=2$个线性无关的基向量），但是两个矩阵不相似，原因如下：
$\mathbf{A}$的若尔当标准型为 [ 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 ] \left[

0100001000000000" role="presentation" style="position: relative;">0000100001000000$$\begin{array}{llll}0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}$$

\right] ⎣ ⎡​0000​1000​0100​0000​⎦ ⎤​，而$\mathbf{C}$的若尔当标准型为它本身 [ 0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 ] \left[

0100000000010000" role="presentation" style="position: relative;">0000100000000010$$\begin{array}{llll}0& 1& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 1\\ 0& 0& 0& 0\end{array}$$

\right] ⎣ ⎡​0000​1000​0000​0010​⎦ ⎤​，
两个若尔当标准型不同（一个是三阶若尔当块+一阶若尔当块，一个是两个二阶若尔当块），故两个矩阵不相似

总结：

• 对于任意的矩阵，虽然并不一定能对角化并得到一个对角矩阵$\mathbf{\Lambda }$作为其相似矩阵（仅当有n个线性无关特征向量时可以这样做，对应于$\mathbf{A}={\mathbf{S}}^{-1}\mathbf{\Lambda S}$中$\mathbf{S}$可逆）；

• 但是若尔当标准型能对（不可对角化的）任意矩阵完成近似“对角化”的处理

• 然而要注意，若尔当标准型在代数上的理论意义大于实际应用意义，因为一般的矩阵很难化简为若尔当标准型（这依赖于多个特征值严格相等，即必须准确确定所有特征值和矩阵的秩，矩阵元素稍微改变特征值就会改变，对于数值计算而言这并不是件好事）
  这也是为什么在Jordan标准型$\mathbf{A}={\mathbf{M}}^{-1}\mathbf{JM}$中，很少关注如何求解相似变换矩阵$\mathbf{M}$

对于矩阵可以对角化的情况，Jordan标准型是对角矩阵，此时求解出A的全部特征值和特征向量（就是做对角化），即可得到$\mathbf{A}={\mathbf{S}}^{-1}\mathbf{\Lambda S}$，其中Jordan标准型$\mathbf{J}=\mathbf{\Lambda }$，相似变换矩阵$\mathbf{M}=\mathbf{S}$
对于一般情形可以解矩阵方程（但计算量很大），也可以把A和I写成分块矩阵的形式（A在上，I在下），对A进行“配套”的初等行列变换，I进行相应的初等列变换，那么当A化为J时，I就化为了S。（参考：袁晖坪.矩阵的Jordan标准型及其相似变换矩阵）
reference：MIT—线性代数笔记28 相似矩阵和若尔当标准型