【吴恩达机器学习-笔记整理】SVM-支持向量机（新的代价函数，最大间隔，高斯核函数，特征数与样本数不同大小关系时的选择）

🌵🌵🌵前言

✨你好啊，我是“ 怪& ”，是一名在校大学生哦。
🌍主页链接：怪&的个人博客主页
☀️博文主更方向为：课程学习知识、作业题解、期末备考。随着专业的深入会越来越广哦…一起期待。
❤️一个“不想让我曾没有做好的也成为你的遗憾”的博主。
💪很高兴与你相遇，一起加油！

SVM隶属于监督学习算法

一、优化目标

1、新的代价函数

logistic回归：

紫红色线的和logistic回归中代价函数的形状很相似（紫色线条即我们使用的新的代价函数）

2、构建支持向量机

训练样本的代价函数和正则化项数
将上式简化为A+λB
首要工作是：设定不同的λ值，以便能够权衡多大程度的适应训练集，即最小化A，还是保证B足够小

支持向量机的总体优化目标，通过优化此来得到参数

二、最大间隔

支持向量机也叫“最大间隔分类器”

在SVM中，构建了安全因子，一个安全间距，
间隔使SVM具有鲁棒性（在分离数据时，会尽量用大的间距去分离）

2、只使用最大间隔分类器时，学习算法会对异常点很敏感

当参数C很大时，异常点可能使图中黑线变为紫红线
C不太大时，仍为黑线状态

三、数学原理

优化函数目标在此图左上角：即1/2*(θ)^2
其需要满足条件s.t.

四、核函数

将此处这个相似函数称作为核函数
示例为高斯核函数
还有线性核函数

1、以高斯核函数为例

2、运行原理

x距离l越近，f值计算出的值就越接近1。
x距离l越远，f值计算出的值就越接近0。

特征值f1衡量了x到第一个标记有多近

3、高斯核函数的参数变化：

4、带入参数为例

5、如何选择l

6、如何选择参数

五、使用SVM

记得将特征值归一化，否则其一特征影响过大

1、常用的核函数

线性核函数、高斯核函数、多项式核函数

2、满足的条件

核函数需要满足默塞尔定理

因为支持向量机算法或者SVM的实现函数有许多熟练的数值优化技巧
这个定理确保所有的SVM包，所有的SVM软件包都能用大类的方法并从而迅速得到参数θ

3、多分类

4、特征数n与样本数m不同相对大小关系时的选择

❤️❤️❤️忙碌的敲代码也不要忘了浪漫鸭！