学习笔记：机器学习之支持向量机(SVM)(上)

学习笔记：机器学习之支持向量机(SVM)(上)
活动地址：CSDN21天学习挑战赛

1 简介

        支持向量机也是一种二分类模型，它是通过在特征空间中建立间隔最大的分类器，这是有别于感知机模型的一点。

   支持向量机可分为线性可分支持向量机、线性支持向量机、非线性支持向量机。

2 函数间隔、几何间隔

2.1 函数间隔

        若超平面方程为 $\large w^Tx+b=0$ ,样本点为    $\large (x_i,y_i)$ ，此时函数间隔为 $\large \hat{\gamma _i}=y_i(w\cdot x+b)$

二分类问题，y取值1，-1，即 $\large w\cdot x+b> 0,y=1,w\cdot x+b<0,y=-1;$

        函数间隔表示该样本点分类的确信度，因为当y=1, $\large w\cdot x+b$ 越大,距离超平面越远，越不会分错，当y=-1是亦然。

2.2几何间隔

        几何间隔为    $\large \gamma _i=y_i(\frac{w^T}{||w||}x_i+\frac{b}{||w||})$ ，很类似于二维空间点到直线的距离公式的形式，不过乘了 $\large y_i$ , $\large y_i,w x_i+b$ 同号时分类正确。

3 线性可分支持向量机

        目的是找到一个能正确划分数据集、几何间隔最大的超平面。仅仅满足能将数据分类正确地超平面可能有很多，但是不一定最优的，因为其他数据继续划分时，这个超平面很可有失效。所以核心思想是先找到最小的几何间隔 $\small (\gamma =\min_i \gamma _i)$ ,并将其最大化。(我的理解是木桶效应，当短板补上了，其他地方肯定慢问题，所以最初要先找几何间隔最小的超平面)

         现在要处理的优化问题为：

$\large \max_{w,b} \gamma$

$\large s.t. \qquad \qquad y_i(\frac{w^T}{||w||}x_i+\frac{b}{||w||})\geq \gamma \qquad i=1,2,...,N$

先用函数间隔表示上边的优化问题：

$\small \large \max_{w,b}\frac{\hat{\gamma}}{||w||}$

$\large s.t. \qquad \qquad y_i(w^Tx_i+bw) \geq \hat{\gamma} \qquad i=1,2,...,N$

以下有助于简化问题的求解；
- 将 $\large \hat{\gamma }=1$
- 最大化 $\large \frac{1}{||w||}$ 与最小化 $\large \frac{1}{2}||w||^2$ 是等价的。
到此就得出了线性可分支持向量机算法——最大间隔算法

线性可分支持向量机算法——最大间隔算法

输入：数据集 $\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$ , $x_i \in R^n,y_i\in \{-1,+1\}$ ;

输出：最大间隔分离超平面、分类决策函数。

最优化问题：

$\min_{w,b} \quad \frac{1}{2}||w||^2 \\ s.t.\quad y_i(w \cdot x_i+b)-1 \geq 0,i=1,2...,N$

求出最优解,则分离超平面为 $w^*\cdot x+b=0$ ,分类决策函数为 $f(x)=sign(w^* \cdot x+b^*)$

支持向量是与分离超平面最近的样本点，是使约束条件中不等式取等号的向量，支持向量决定着分类超平面，所以该模型叫做支持向量机。

参考

【十分钟机器学习系列课程】讲义（41）：SVM支持向量机-逻辑回归与支持向量机
相关阅读:
BS-GX-018 基于SSM实现在校学生考试系统
 低代码是开发的未来吗？浅谈低代码开发平台的发展现状及未来趋势
 小啊呜产品读书笔记001：《邱岳的产品手记-13》第24讲产品案例分析：PathSource的混乱与直观 & 25讲产品世界的暗黑模式：操纵的诱惑
 J3D在UOS+KIRIN崩溃1：直接原因分析
 捷码行业案例——智慧水务：供排水标签画像平台
 java毕业设计—— 基于java+javaEE+jsp的项目管理系统设计与实现（毕业论文+程序源码）——项目管理系统
 element-ui el-table 树形结构父子级联动
 JavaScript的学习之强制类型转换
 腾讯云价格计算器有用过的吗？好用！
PMP每日一练 | 考试不迷路-8.29（包含敏捷+多选）
原文地址：https://blog.csdn.net/qq_44635691/article/details/126273372

1 简介

2 函数间隔、几何间隔

2.1 函数间隔

2.2几何间隔

3 线性可分支持向量机

参考