线性代数笔记

线性代数笔记

本笔记仅用作个人使用，主要目的是捡起大一几何与代数的知识，顺带把线性代数给学好。前置知识包括方程组的计算（中学）；高斯消元；矩阵乘法。
基于MIT Strang教授线性代数课程和丁坤博覃立波的笔记而来，如有不妥或侵权请指出，我会及时修改。

【20220630】进度：5/34，争取至少两天一更，每次更3/34。

1 方程组的几何解释

以如下方程组为例：
{ 2 x − y = 0 , − x + 2 y = 3. \left\{

\right. {2x−y−x+2y​==​0,3.​
对方程组我们有两种解释：
（1）二维的行图像：按行提取出每一条直线。即我们很早学到的两个一元一次方程（两条直线）的几何表述，其解就是交点。
（2）二维的列图像：按列提取出每一个向量，求解的过程实际上就是在求一组合适线性组合，使其能够组合(2,-1)和(-1,2)两个向量，并获得(0,3)。

相似的，对如下矩阵乘法也有两种解释：
A = [ 2 5 1 3 ] , x = [ 1 2 ] A=

, x= A=[21​53​],x=[12​]
（1） A x = [ 2 5 1 3 ] [ 1 2 ] = 1 [ 2 1 ] + 2 [ 5 3 ] = [ 12 7 ] Ax=

[2153]$$\left[\begin{array}{cc}2& 5\\ 1& 3\end{array}\right]$$

[12]$$\left[\begin{array}{c}1\\ 2\end{array}\right]$$

=1

[21]$$\left[\begin{array}{c}2\\ 1\end{array}\right]$$

+2

[53]$$\left[\begin{array}{c}5\\ 3\end{array}\right]$$

=

[127]$$\left[\begin{array}{c}12\\ 7\end{array}\right]$$

Ax=[21​53​][12​]=1[21​]+2[53​]=[127​]
（2） A x = [ 2 5 1 3 ] [ 1 2 ] = [ ( 2 , 5 ) ⋅ ( 1 , 2 ) ( 1 , 3 ) ⋅ ( 1 , 2 ) ] = [ 12 7 ] Ax=

[2153]$$\left[\begin{array}{cc}2& 5\\ 1& 3\end{array}\right]$$

[12]$$\left[\begin{array}{c}1\\ 2\end{array}\right]$$

=

[(2,5)⋅(1,2)(1,3)⋅(1,2)]$$\left[\begin{array}{c}(2,5)\cdot (1,2)\\ (1,3)\cdot (1,2)\end{array}\right]$$

=

[127]$$\left[\begin{array}{c}12\\ 7\end{array}\right]$$

Ax=[21​53​][12​]=[(2,5)⋅(1,2)(1,3)⋅(1,2)​]=[127​]

2 矩阵消元

基本的消元方法和初中学到的基本一致，不再赘述。接下来主要借助例子来介绍概念。
例：
[ 1 2 1 3 8 1 0 4 1 ] [ x y z ] = [ 2 12 2 ]

= ⎣⎡​130​284​111​⎦⎤​⎣⎡​xyz​⎦⎤​=⎣⎡​2122​⎦⎤​

2.1 增广矩阵
可以通过增广矩阵的消元来求解该方程组，所谓增广矩阵，即把两个矩阵拼起来： [ 1 2 1 2 3 8 1 12 0 4 1 2 ]

⎣⎡​130​284​111​2122​⎦⎤​，消元后得 [ 1 2 1 2 0 2 − 2 6 0 0 5 − 10 ]

⎡⎣⎢1002201−2526−10⎤⎦⎥$$\left[\begin{array}{cccc}1& 2& 1& 2\\ 0& 2& -2& 6\\ 0& 0& 5& -10\end{array}\right]$$

⎣⎡​100​220​1−25​26−10​⎦⎤​，而后直接从下向上回代求解即可。

2.2 向量和矩阵的乘法
本节用到的所有向量均默认为列向量。
矩阵列的线性组合：
[ a T , b T , c T ] [ 3 4 5 ] = [ 3 a T , 4 b T , 5 c T ]

= [aT,bT,cT​]⎣⎡​345​⎦⎤​=[3aT,4bT,5cT​]
矩阵行的线性组合：
[ 3 , 4 , 5 ] [ a b c ] = [ 3 a 4 b 5 c ]

[3,4,5]$$\left[\begin{array}{c}3,4,5\end{array}\right]$$

⎡⎣⎢abc⎤⎦⎥$$\left[\begin{array}{c}\mathbf{a}\\ \mathbf{b}\\ \mathbf{c}\end{array}\right]$$

=

⎡⎣⎢3a4b5c⎤⎦⎥$$\left[\begin{array}{c}3\mathbf{a}\\ 4\mathbf{b}\\ 5\mathbf{c}\end{array}\right]$$

[3,4,5​]⎣⎡​abc​⎦⎤​=⎣⎡​3a4b5c​⎦⎤​
2.3 操作矩阵
(1)消元矩阵
例如：$3\times 3$矩阵的第二行*(-2)再加到第三行，对应的消元矩阵为：
[ 1 0 0 0 1 0 0 − 2 1 ]

⎡⎣⎢10001−2001⎤⎦⎥$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& -2& 1\end{array}\right]$$

⎣⎡​100​01−2​001​⎦⎤​
例如：$3\times 3$矩阵的第二行*(-2)再加到第三行，对应的消元矩阵为：
[ 1 0 0 0 1 0 0 − 2 1 ]

⎡⎣⎢10001−2001⎤⎦⎥$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& -2& 1\end{array}\right]$$

⎣⎡​100​01−2​001​⎦⎤​
(2)行列变换矩阵：
左乘-行变换：
[ 0 1 1 0 ] [ a b c d ] = [ c b a b ]

[0110]$$\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]$$

[acbd]$$\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]$$

=

[cabb]$$\left[\begin{array}{cc}c& b\\ a& b\end{array}\right]$$

[01​10​][ac​bd​]=[ca​bb​]
右乘-列变换：
[ a b c d ] [ 0 1 1 0 ] = [ b a d c ]

[acbd]$$\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]$$

[0110]$$\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]$$

=

[bdac]$$\left[\begin{array}{cc}b& a\\ d& c\end{array}\right]$$

[ac​bd​][01​10​]=[bd​ac​]

3 逆矩阵

如果方阵$\mathbf{A}$可逆，则有${\mathbf{A}}^{-1}$使得$\mathbf{A}{\mathbf{A}}^{-1}=I={\mathbf{A}}^{-1}\mathbf{A}$。

不可逆的矩阵例如：(a)非方阵；(b)行列式为0的方阵。
若存在非零向量$\mathbf{x}$使得$\mathbf{A}\mathbf{x}=0$，则$\mathbf{A}$不可逆。可用反证法证明：${\mathbf{A}}^{-1}\mathbf{A}\mathbf{x}=\mathbf{x}$根据结合律即可证明。

求矩阵的逆，例如：
[ 1 3 2 7 ]

[12​37​]，即求得矩阵满足： [ 1 3 2 7 ] [ a b c d ] = I 2

[1237]$$\left[\begin{array}{cc}1& 3\\ 2& 7\end{array}\right]$$

[acbd]$$\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]$$

=\mathbf{I}_2 [12​37​][ac​bd​]=I2​
可以用如下方法：

3.1 高斯-若尔当消元（Gauss-Jordan Elimination）
[ 1 3 2 7 ] [ a c ] = [ 1 0 ]

= [12​37​][ac​]=[10​]和 [ 1 3 2 7 ] [ b d ] = [ 0 1 ]

[1237]$$\left[\begin{array}{cc}1& 3\\ 2& 7\end{array}\right]$$

[bd]$$\left[\begin{array}{c}b\\ d\end{array}\right]$$

=

[01]$$\left[\begin{array}{c}0\\ 1\end{array}\right]$$

[12​37​][bd​]=[01​]，相应的增广矩阵为 [ 1 3 1 0 2 7 0 1 ]

[12371001]$$\left[\begin{array}{cccc}1& 3& 1& 0\\ 2& 7& 0& 1\end{array}\right]$$

[12​37​10​01​]而后对增广矩阵消元，使其从$[\mathbf{A}|\mathbf{I}]$变成$[\mathbf{I}|\mathbf{B}]$的形式，即为 [ 1 0 7 − 3 0 1 − 2 1 ]

[10017−2−31]$$\left[\begin{array}{cccc}1& 0& 7& -3\\ 0& 1& -2& 1\end{array}\right]$$

[10​01​7−2​−31​]，逆矩阵即为： [ 7 − 3 − 2 1 ]

[7−2−31]$$\left[\begin{array}{cc}7& -3\\ -2& 1\end{array}\right]$$

[7−2​−31​]。

3.1 逆矩阵的性质
${\mathbf{A}\mathbf{B}}^{-1}={\mathbf{B}}^{-1}{\mathbf{A}}^{-1}$
$(\mathbf{A}{\mathbf{A}}^{-1}{)}^T=({\mathbf{A}}^{-1}{)}^{\mathbf{T}}{\mathbf{A}}^{\mathbf{T}}$
$({\mathbf{A}}^{-1}{)}^T=({\mathbf{A}}^T{)}^{-1}$（转置和求逆顺序可颠倒）

4 A的LU分解

以例讲解：
已知 E 32 E 31 E 21 A = U ， E 32 = [ 1 0 0 0 1 0 0 − 5 1 ] ， E 21 = [ 1 0 0 − 2 1 0 0 0 1 ] ， E 31 = I \mathbf{E_{32}}\mathbf{E_{31}}\mathbf{E_{21}}\mathbf{A}=\mathbf{U}，\mathbf{E_{32}}=

，\mathbf{E_{21}}=，\mathbf{E_{31}}=I E32​E31​E21​A=U，E32​=⎣⎡​100​01−5​001​⎦⎤​，E21​=⎣⎡​1−20​010​001​⎦⎤​，E31​=I，求$A=LU$分解后的L：
$\mathbf{A}={{\mathbf{E}}_{21}}^{-1}{{\mathbf{E}}_{31}}^{-1}{{\mathbf{E}}_{32}}^{-1}\mathbf{U}$，即可得到$\mathbf{L}={{\mathbf{E}}_{21}}^{-1}{{\mathbf{E}}_{31}}^{-1}{{\mathbf{E}}_{32}}^{-1}$

5 转置-置换-向量空间R

对称阵：满足${\mathbf{A}}^T=\mathbf{A}$，进一步的有${\mathbf{A}}^T\mathbf{A}$必为对称阵。
置换矩阵：由单位阵通过行变换而来的矩阵，对于3阶则有3!个置换阵，对于n阶则有n!个置换阵。
应用：在进行高斯消元之前，需要通过行变换调整主元位置，因此LU分解的完整形式应为：
$\mathbf{P}\mathbf{A}=\mathbf{L}\mathbf{U}$
线性空间：空间对线性操作（相加、数乘）封闭。
$R^2$的子空间：$R^2$整体；任意通过原点的直线；原点。
$R^3$的子空间：$R^3$整体；任意通过原点的平面；任意通过原点的直线；原点。