高斯分布

基本概念

服从一元高斯分布的一组样本$X=(x_1,x_2,\dots ,x_n)$，其中每一个样本都是一个随机数值。但是在多元高斯分布中，每一个样本不是一个数值，而是多维的随机向量，每一个样本都是p维：
$$xx=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_p\end{array}\right]$$
假设有n个样本，每一个都是p维，那么可以表示成：
$$XX=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1p}\\ x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& & & ⋮\\ x_{n1}& x_{n2}& \cdots & x_{np}\end{array}\right]$$
如何去表示这样的样本矩阵？使用多维高斯分布！！

均值参数表示成：
$$\mu \mu =\left[\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_p\end{array}\right]$$
多维高斯分布的方差参数表示成协方差矩阵（协方差矩阵表示里面不同随机变量的相关性）：
$$\Sigma \Sigma =\left[\begin{array}{cccc}{\sigma }_{11}& {\sigma }_{12}& \cdots & {\sigma }_{1p}\\ {\sigma }_{21}& {\sigma }_{22}& \cdots & {\sigma }_{2p}\\ ⋮& & & ⋮\\ {\sigma }_{n1}& x_{n2}& \cdots & {\sigma }_{pp}\end{array}\right]$$
概率密度函数：
$$p(x|\theta )=\frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}exp[-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )]$$

二元高斯分布的实例：

可以看到，不同协方差矩阵和不同均值的高斯分布在形状上是不一样的。而且呈椭圆分布，越接近椭圆中心，样本密度越大；反之越稀疏。而且，协方差矩阵的特征值与椭圆的长短轴的长度有关系，而协方差矩阵的特征向量和椭圆的长短轴的方向有关：

# -*- coding: utf-8 -*-
# @Use     : 
# @Time    : 2022/8/24 19:22
# @FileName: Gaussian.py
# @Software: PyCharm

import numpy as np
import matplotlib.pyplot as plt

mean_1 = np.array([0, 0])
conv_1 = np.array([[1, 0],
                  [0, 1]])

mean_2 = np.array([0, -5])
conv_2 = np.array([[4, 0],
                  [0, 0.25]])

mean_3 = np.array([4, 4])
conv_3 = np.array([[4, -3],
                  [-3, 0.25]])

x_1, y_1 = np.random.multivariate_normal(mean=mean_1, cov=conv_1, size=2000).T
x_2, y_2 = np.random.multivariate_normal(mean=mean_2, cov=conv_2, size=2000).T
x_3, y_3 = np.random.multivariate_normal(mean=mean_3, cov=conv_3, size=2000).T

plt.plot(x_1, y_1, 'ro', alpha=0.05)
plt.plot(x_2, y_2, 'bo', alpha=0.05)
plt.plot(x_3, y_3, 'go', alpha=0.05)

plt.gca().axes.set_xlim(-10, 10)
plt.gca().axes.set_ylim(-10, 10)
plt.grid(ls='--')
plt.show()

#求协方差矩阵的特征值和特征向量
evalue. evevtor = linalg.eig(conv1)
evalue. evevtor = linalg.eig(conv2)
evalue. evevtor = linalg.eig(conv3)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39