《统计学习方法》第四章总结与习题

朴素贝叶斯
定义：朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。

1.贝叶斯公式推导

首先有条件概率公式如下：
$$P(A|B)=\frac{P(AB)}{P(B)},P(B|A)=\frac{P(AB)}{P(A)}$$
其中$P(AB)$为联合概率，两式消去$P(AB)$所以有
$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$
通过条件概率我们可以得到贝叶斯公式如下：
$$P(Y=c_k|X=x)=\frac{P(X=x,Y=c_k)}{P(X=x)}=\frac{P(X=x|Y=c_k)P(Y=c_k)}{P(X=x)}$$
给定训练集$T=(x_1,y_1),(x_2,y_2),..,(x_N,y_N)$，设类别可选数目为K，即$c_1,c_2,...,c_K$，特征维度为m，即$x_i=(x_i^1,x_i^2,...x_i^m)$，第j维的特征可取值数目为$S_j$，分别为$a_j^1,a_j^2,...,a_j^{S_j}$。
贝叶斯的思想就是通过训练数据学习联合分布P(X,Y)，具体地，学习以下先验概率和条件概率：

先验概率(也就是类别概率)

$$P(Y=c_k),k=1,2,...,K$$

条件概率(也就是确定某类别的前提下某特征的概率)

$$P(X=x|Y=c_k)=P(X^1=x^1,X^2=x^2,...,X^N=x^N|Y=c_k),k=1,2,...,K$$
通过上述的条件概率公式可以得到联合概率分布

联合概率(先验概率与条件概率乘积)

$$P(X=x,Y=c_k)=P(Y=c_k)P(X=x|Y=c_k)$$
由全概率公式可以得到
$$\begin{gathered} P(X=x)=P(X=x|Y=c_1)P(Y=c_1)+,...,+P(X=x|Y=c_k)P(Y=c_k) \\ =\sum _{i=1}^{K}P(X=x|Y=c_i)P(Y=c_i) \end{gathered}$$

为了降低模型的复杂度，对贝叶斯公式作了条件独立性的假设，因此叫做朴素贝叶斯
通过条件独立性假设，可以很方便计算条件概率：
$$P(X=x|Y=c_k)=\prod _{j=1}^{N}P(X^j=x^j|Y=c_k)$$
由于朴素贝叶斯学习到了联合概率分布，因此为生成模型。
对于后验概率$P(Y=C_k|X=x)$，带入上述先验概率和条件概率由贝叶斯公式有：
$$\begin{gathered} P(Y=c_k|X=x)=\frac{P(Y=c_k)P(X=x|Y=c_k)}{P(X=x)} \\ =\frac{P(Y=c_k)\prod _{j=1}^{N}P(X^j=x^j|Y=c_k)}{P(X=x)} \\ =\frac{P(Y=c_k)\prod _{j=1}^{N}P(X^j=x^j|Y=c_k)}{\sum _{i=1}^{K}P(X=x|Y=c_i)P(Y=c_i)} \\ =\frac{P(Y=c_k)\prod _{j=1}^{N}P(X^j=x^j|Y=c_k)}{\sum _{i=1}^{K}P(Y=c_i)\prod _{j=1}^{N}P(X^j=x^j|Y=c_i)} \end{gathered}$$
选取后验概率最大的类别作为预测的样本类别，由于对于同一个样本的所有类别，上式分子相同，因此朴素贝叶斯最后预测的类别可以表示为：
$$y=\underset{c_k}{\mathrm{argmax}}P(Y=c_k)\prod _{j=1}^{N}P(X^j=x^j|Y=c_k)$$

2.贝叶斯的参数估计

极大似然估计

$$P(Y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K$$
$$P(X^j=a_j^l|Y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^j=a_j^l,y_i=c_k)}{\sum _{i=1}^{N}I(y_i=c_k)},l=1,2,...,S_j$$
其中I是指示函数。

增加平滑项

$$P(Y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)+\lambda }{N+\lambda K},k=1,2,...,K$$
$$P(X^j=a_j^l|Y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^j=a_j^l,y_i=c_k)+\lambda }{\sum _{i=1}^{N}I(y_i=c_k)+\lambda S_j},l=1,2,...,S_j$$
λ 为平滑因子，通常取1，这时称为拉普拉斯平滑。

3.三种朴素贝叶斯

三种实现差别主要体现在计算条件概率$P(X_j=a_j^l|Y=c_k)$。

伯努利朴素贝叶斯

适用于离散变量，假设各变量取值只有0、1两种，因此首先要对特征值进行二值化处理。
其条件概率举例如下：
$$P(w_i|c)=\frac{包含词w_i且属于类c的文档数}{属于类c的所有文档数}$$

多项式朴素贝叶斯

适用于离散变量，其假设各个特征在各个类别下是服从多项式分布的，每个特征值不能是负数。
其条件概率举例如下：
$$P(w_i|c)=\frac{词w_i在属于类c的所有文档中出现的次数}{属于类c的所有文档的单词总数}$$

高斯朴素贝叶斯

适用于连续变量，其假定各个特征在各个类别下服从正态分布，通过训练集估计正态分布的参数。