SVM算法原理解读

-----------------------------------------------------需要死记硬背的部分---------------------------------------------

超平面划分正负数据

支持向量上对应的公式：

转换为：

转换为：

正样例yi=1，此时

负样例yi=-1，此时

综上可得：

支持向量到划分超平面的距离和：

训练目标：

s.t.

最终得到原问题为：

s.t.

设拉格朗日乘子式：

则原问题去掉约束之后的等价问题为：

其对偶问题为：

先求部分：

得到：

得到：

将w，b代回L得到：

于是对偶问题为：

s.t.  

    

      KKT条件

求比较麻烦，改求

s.t.

    

使用SMO算法进行求解，需要把一系列alpha中两个看成常量，其他全部固定看成常数。因为，如果只选择一个alpha会破坏这个约束。

如果SVM考虑容错部分离群点，支持向量机的约束改为：

目标改为：

如果需要考虑高维度上的分类，则需要用到核函数，比如高斯核函数。

---------------------------------------正常解读---------------------------------------------------------------------

本文参考:

拉格朗日对偶问题的解释_沧海磐石的博客-CSDN博客_拉格朗日对偶问题

SVM算法 - 知乎 

一文搞懂支持向量机(SVM)算法 - 知乎 

SVM算法详解_lzk_nus的博客-CSDN博客_svm算法 

 先看对偶问题的解释：

再看SVM的推导