第一章 矩阵与线性方程组（二十四）

1. 非一致方程的最小范数最小二乘解

在最小二乘解中获得一个具有最小范数的解。这样一种解称为非一致方程$Ax=y$的最小范数最小二乘解，也称半范数最小二乘解。

定义
对于非一致方程$A_{m\times n}{x}_{n\times 1}=y_{m\times 1}$，矩阵$G$称为$A$的最小范数最小二乘广义逆矩阵，若$G$满足条件
∣ ∣ G y ∣ ∣ n ≤ ∣ ∣ x ^ n ∀ x ^ ∈ { x ^ : ∣ ∣ A x ^ − y ∣ ∣ m ≤ ∣ ∣ A z − y ∣ ∣ m ∀ y ∈ R m , z ∈ R n } ||Gy||_n≤||\hat{x}_n \forall \hat{x} \in \{\hat{x}:||A\hat{x}-y||_m≤||Az-y||_m \forall y \in R^m,z \in R^n \} ∣∣Gy∣∣n​≤∣∣x^n​∀x^∈{x^:∣∣Ax^−y∣∣m​≤∣∣Az−y∣∣m​∀y∈Rm,z∈Rn}
式中，$||\cdot |{|}_n$和$||\cdot |{|}_m$分别是在$R^n$和$R^m$空间的范数(半范数);花括号{·}表示是非一致方程$Ax=y$的最小二乘解，而$||Gy|{|}_n\le ||{\hat{x}}_n$表示$Gy$是在所有的最小二乘解中具有最小范数的那个解。

定理
矩阵$G$使得$Gy$是非一致方程$Ax=y$的最小范数最小二乘解，当且仅当$G$满足条件
$$AGA=A,(AG{)}^{\#}=AG,GAG=G,(GA{)}^{\#}=GA$$
式中，$A^{\#}$是$A$的伴随矩阵。

利用伴随矩阵的性质$B^{\#}=B^H$易知，定理中的第二个条件$(AG{)}^{\#}=AG$即$(AG{)}^H=AG$，第四个条件$(GA{)}^{\#}=GA$即$(GA{)}^H=GA$。
因此，定理也可以等价表述为:
矩阵$G$使得$Gy$是非一致方程$Ax=y$的最小范数最小二乘解，当且仅当$G$是$A$的Moore-Penrose逆矩阵。

2. 广义逆矩阵的阶数递推计算

在系统辨识中，一个时间序列通常表示成一个自回归-移动平均(ARMA)模型的输出。然而，在许多实际的情况下，ARMA(p,q)过程的阶数(p,q)是未知的，因此系统辨识需要估计对应于不同可能阶次的ARMA模型的AR和MA参数，并确定最优阶数(p,q)。这说明，一种阶数递推的系统辨识方法是非常有吸引力的。

2.1 左伪逆矩阵的阶数递推

考虑$n\times m$矩阵$F_m$，并设$F^{+}=(F_m^H{F}_m{)}^{-1}{F}_m^H$是$F_m$的左伪逆矩阵。

定理
令
$$F_m=[F_{m-1}{f}_m]$$
式中，$f_m$是矩阵$F_m$的第$m$列，且$rank(F_m)=m$，则计算$F_m^{+}$的递推公式由下式给出:
F m + = [ F m − 1 + − F m − 1 + f m e m H Δ m − 1 e m H Δ m − 1 ] F_m^+=

Fm+​=[Fm−1+​−Fm−1+​fm​emH​Δm−1​emH​Δm−1​​]
式中
$$e_m=[I_n-F_{m-1}{F}_{m-1}^{+}]f_m$$
$${\Delta }_m^{-1}=[f_m^H{e}_m{]}^{-1}$$
且初始值为
$$F_1^{+}=f_1^H/(f_1^H{f}_1)$$

2.2 右伪逆矩阵的阶数递推

考虑矩阵$F_m\in C^{n\times m}，n<m$。
定理
记$F_m=[F_{m-1}，f_m]$，则右伪逆矩阵$F_m^{+}=F_m^H(F_m{F}_m^H{)}^{-1}$具有以下递推公式:
F m + = [ F m − 1 + − Δ m F m − 1 + f m c m Δ m c m H ] F_m^+=

Fm+​=[Fm−1+​−Δm​Fm−1+​fm​cm​Δm​cmH​​]
式中，$c_m^H=f_m^H(I_n-F_{m-1}{F}_{m-1}^{+}),{\Delta }_m=c_m^H{f}_m$。递推的初始值为$F_1^{+}=f_1^H/(f_1^H{f}_1)$。

3. 矩阵的直和

定义
$m\times m$矩阵$A$与$n\times n$矩阵$B$的直和记作$A\oplus B$，它是一个$(m+n)\times (m+n)$矩阵，定义为
A ⨁ B = [ A O m × n O n × m B ] A\bigoplus B=

A⨁B=[AOn×m​​Om×n​B​]
需要注意，两个矩阵的直和不是两个矩阵元素之间的任何求和运算，只是一种形式上的求和符号，其真实涵义是将两个矩阵按照对角线位置堆放，直接组合成一个更大维数的矩阵。类似地，还可以定义多个矩阵的直和，如:
B = ⨁ i = 0 N − 1 A i = A 0 ⊕ A 1 ⊕ ⋅ ⋅ ⋅ ⊕ A N − 1 = [ A 0 A 1 ⋱ A N − 1 ] B=\bigoplus_{i=0}^{N-1}A_i=A_0 \oplus A_1 \oplus ··· \oplus A_{N-1}=

[A0A1⋱AN−1]" role="presentation" style="position: relative;">⎡⎣⎢⎢⎢⎢⎢A0A1⋱AN−1⎤⎦⎥⎥⎥⎥⎥$$\left[\begin{array}{cccc}{A}_0& & & \\ & A_1& & \\ & & \ddots & \\ & & & A_{N-1}\end{array}\right]$$

B=i=0⨁N−1​Ai​=A0​⊕A1​⊕⋅⋅⋅⊕AN−1​=⎣ ⎡​A0​​A1​​⋱​AN−1​​⎦ ⎤​
根据定义，容易证明矩阵的直和具有以下性质[224],[386]。
(1)若$c$为常数，则$c(A\oplus B)=cA\oplus cB$。

(2)若$A\ne B$，则$A\oplus B\ne B\oplus A$。
(3)矩阵直和的复共轭、转置、复共轭转置与逆矩阵:
$(A\oplus B{)}^{\ast }=A^{\ast }\oplus B^{\ast }$

$(A\oplus B{)}^T=A^T\oplus B^T$

$(A\oplus B{)}^H=A^H\oplus B^H$

$(A\oplus B{)}^{-1}=A^{-1}\oplus B{-}^{-1}，A,B可逆$

(4)若$A,B$为$m\times m$矩阵，且$C,D$为$n\times n$矩阵，则
$(A\pm B)\oplus (C\pm D)=(A\oplus C)\pm (B\oplus D)$

$(A\oplus C)(B\oplus D)=AB\oplus CD$

(5)若$A,B,C$分别是$m\times m,nx\times n,p\times p$矩阵，则
$A\oplus (B\oplus C)=(A\oplus B)\oplus C=A\oplus B\oplus C$

(6)矩阵直和的迹、秩、行列式:
$tr({⨁}_{i=0}^{N-1}{A}_i)={\sum }_{i=0}^{N-1}tr(A_i)$

$rank({⨁}_{i=0}^{N-1}{A}_i)={\sum }_{i=0}^{N-1}rank(A_i)$

$det({⨁}_{i=0}^{N-1}{A}_i)={\prod }_{i=0}^{N-1}det(A_i)$

(7)若$A,B$分别是$m\times m$，$n\times n$正交矩阵，则$A\oplus B$是$(m+n)\times (m+n)$正交矩阵。

4. Hadamard积

定义
$m\times n$矩阵$A=[a-ij]$与$m\times n$矩阵$B=[b_{ij}]$的Hadamard积记作 $A\odot B$，它仍然是一个$m\times n$矩阵，定义为
$$A\odot B=[a_{ij}{b}_{ij}]$$
Hadamard积也称Schur积或者对应元素乘积。
矩阵Hadamard积的一个主要结果是下面的Hadamard积定理。

定理
若$m\times m$矩阵$A,B$是正定(或半正定)的，则它们的Hadamard积$A\odot B$也是正定(或半正定)的。

推论(Fejer定理)
令$A$是一个$m\times m$矩阵，则$A$是半正定矩阵，当且仅当
$$\sum _{i=1}^m\sum _{j=1}^m{a}_{ij}{b}_{ij}\ge 0$$
对所有$m\times m$半正定矩阵$B$成立。

下面的两个定理描述了矩阵的Hadamard积与迹之间的关系。
定理
令$A,B,C$为$m\times n$矩阵，并且$1=[1,1,\dots ,1{]}^T$为$n\times 1$求和向
量，$D=diag(d_1,d_2,\dots ,d_m)$，其中，$d_i={\sum }_{j=1}^n{a}_{ij}$，则
$$tr(A^T(B\odot C))=tr((A^T\odot B^T)C)$$
和
$$1^T{A}^T(B\odot C)1=tr(B^{T}DC)$$

定理
令$A,B$为$n\times n$正方矩阵，并且$1=[1,1,\dots ,1{]}^T$为$n\times 1$求和向量。假定$M$是一个$n\times n$对角矩阵$M=diag(u_1,u_2,\dots ,u_n)$，而$m=M1$为$n\times 1$向量，
则有
$tr(AM{B}^{T}M)=m^T(A\odot B)m$

$tr(A{B}^T)=1^T(A\odot B)1$

$MA\odot B^{T}M=M(A\odot B^T)M$

5. Hadamard积的性质

(1)若$A,B$均为$m\times n$矩阵，则
$A\odot B=B\odot A$

$(A\odot B{)}^T=A^T\odot B^T$

$(A\odot B^{)}H=A^H\odot B^H$

$(A\odot B{)}^{\ast }=A^{\ast }\odot B^{\ast }$
(2)任何一个$m\times n$矩阵$A$与$m\times n$零矩阵$O_{m\times n}$的Hadamard积等于$m\times n$零矩阵，即$A\odot O_{m\times n}=O_{m\times n}\odot A=O_{m\times n}$

(3) 若 $c$为常数，则
$$c(A\odot B)=(cA)\odot B=A\odot (cB)$$
(4)矩阵$A_{m\times m}=[a_{ij}]$与单位矩阵$I_m$的Hadamard积为$m\times m$对角矩阵，即
$$.A\odot I_m=I_m\odot A=diag(A)=diag(a_{11},a_{22},\dots ,a_{mm})$$
(5)若$A,B,C,D$均为$m\times n$矩阵，则
$$A\odot (B\odot C)=(A\odot B)\odot C=A\odot B\odot C$$
$$(A+B)\odot C=A\odot C+B\odot C$$
$$(A+B)\odot (C+D)=A\odot C+A\odot D+B\odot C+B\odot D$$

(6)若$A,C$为$m\times m$矩阵，并且$B,D$为$n\times n$矩阵，则
$$(A\oplus B)\odot (C\oplus D)=(A\odot C)\oplus (B\odot D)$$
(7)若$A,B,C$为$m\times n$矩阵，则
$$tr(A^T(B\odot C))=tr((A^T\odot B^T)C)$$
(8)若$A,B,D$为$m\times m$矩阵，则
$$D为对角矩阵\Rightarrow (DA)\odot (BD)=D(A\odot B)D$$
(9)若$m\times m$矩阵$A,B$是正定(或半正定)的，则它们的Hadamard积$A\odot B$也是正定(或半正定)的。