机器学习-SVM(Hard-margin) 机器学习算法
haoteby 2024-12-30 04:15 1 浏览
SVM模型主要思想是最大化分类间距，支持向量机按照数据集的分布特点有以下三种：
1.线性可分SVM:如感知机算法处理
2.非线性SVM：完全不可分，如在感知机问题发展出来的多层感知机和深度学习
3.线性SVM：允许一点点错误，如感知机算法发展出来的 Pocket 算法处理的问题
这三种情况对于 SVM 分别有三种处理手段：1.hard-margin SVM 2.kernel Method 3.soft-margin SVM
Hard-margin SVM
支撑向量机也是一种硬分类模型，在感知机模型中，在线性模型的基础上叠加了符号函数，在几何直观上，可以看到，如果两类分的很开的话，那么其实会存在无穷多条线可以将两类分开。在 SVM 中，我们引入最大化间隔这个概念，间隔指的是数据和直线的距离的最小值，因此最大化这个值反映了我们的模型倾向。
模型分割的超平面可写成：θ=w(T)x+b
假设在一个平面上有两类，w(T)x+b>0时，y=1，相反，y=-1，间隔是指所有数据点到超平面的距离和最小，即
去掉分子的绝对值，我们可使y*超平面，因为
永远大于0，即间隔可化为
那么关于w，b参数的最大化间隔（约束为分类任务的要求）：
对于这个约束
，不妨固定
，这是由于分开两类的超平面的系数经过比例放缩不会改变这个平面，这也相当于给超平面的系数作出了约束。化简后的式子可以表示为：
这个是一个包含N个约束的凸优化问题，如果样本数量或维度非常高，直接求解困难甚至不可解，对于求解这类约束，我们可引入拉格朗日函数，然后去最大化拉格朗日函数：
原问题就等价于：
交换最小和最大值符号，就成了对偶问题：
对拉格朗日函数关于b求偏导的：
再将b代入拉格朗日函数，求关于w的偏导，得到w：
求得w和b后代入拉格朗日函数：
那么原问题就化为关于λ的最大化问题：
原问题和对偶问题满足强对偶关系的充要条件为其满足 KKT 条件：
从这一条件我们可以得到超平面的参数：
文章将连载，喜欢的话点个赞+个关注吧！
下一篇：机器学习-SVM(Soft margin)
相关推荐
- wordpress集团公司网站模板:XSgr
-
小兽wordpress推出一款高端集团公司主题，打造高品质官网。高端是一种态度和坚持，因为我坚信贴合产品及品牌理念的高端深度定制才能最大化地呈现企业的务实严谨与产品的专业品质相比，某种程度上讲–...
- 宝塔搭建WordPress跨境电商外贸商城模板汉化woodmart7.5.1源码
-
大家好啊，欢迎来到web测评。本期给大家带来一套php开发的WoodmartV7.5.1汉化主题|跨境电商|外贸商城|产品展示网站模板WordPress主题，是wordpress开发的。上次是谁要的系...
- Wordpress建站设计技巧:用好Wordpress自带样板功能
-
作者：悦然wordpress建站(悦然建站）...
- 微软推出Azure平台WordPress模板:分分钟搭建博客
-
IT之家讯微软Azure云服务平台可以托管各种各样的Web服务，从企业应用后端服务到视频托管服务等等。WordPress是目前最为流行的博客平台，驱动着全球1/4的互联网网站。不过用户想要在Azur...
- wordpress公司展示型通用模板:XShw
-
主题介绍xshw公司模板是一款现代化风格、通用型公司展示的Wordpress公司建站模板，采用经典的颜色搭配、精致的模块布局、完善的列表模板、响应式自适应技术以及配置的大幅全屏轮播图、公司简介、业务介...
- WP模板开发中，怎样给wordpress网站的文章，添加点赞功能?
-
我们在网上浏览某些网站的文章时，在文章的结尾处，都会有一个点赞的按钮，如果觉得文章内容非常不错，就可以点击这个“点赞”按钮，给这篇文章进行点赞一下。在wordpress网站的模板主题开发中，我们可不可...
- 免费的WordPress模板
-
免费的WordPress模板有很多种类，适用于不同类型的网站需求。以下是一些推荐的免费WordPress模板，它们各具特色，适合多种用途：...
- 东港边检站开展全面清理自制执勤执法证件表单专项工作
-
为进一步提高边检机关依法行政和服务管理水平，根据部局和总站统一部署，6月3日下午，东港边检站迅速开展全面清理自制执勤执法证件表单专项工作。一是统一思想，提高认识。该站于6月3日召开专题会议，传达部局视...
- 两款超级好用的二维码生成器软件，铁铁们快码住
-
今天分享两款超级好用的二维码生成器，个人认为衡量是否是好用的二维码生成器的主要有以下维度（仅从用户体验角度）...
- 扫码填表如何拍摄现场照片?表单添加图片的二维码制作方法
-
现在通过扫描二维码来登记信息的方式非常的常见，有很多的应用场景会使用这种方式来统计数据，比如问卷调查、用户反馈、巡检结果等类型。通过扫码填写信息后，制作者可以及时的获取对应的数据做出反馈。那么表单二维...
- 纯干货∣教你如何制作一份具有法律效应的“电子合同”
-
表单中使用电子合同时，不仅需要进行功能设置，还需要制作一份PDF格式的模板...
- 金山表单硬核功能“在线考试”上线
-
近日，金山文档针对教师用户群体上线“在线考试”考试功能。教育从业者可在金山文档内完成考试、练习测验、竞赛和作业布置。与此同时，该功能还具备自动批改计分、答案解析、成绩展示、信息收集等特色功能。充分适配...
- 报名小程序怎么制作?借助这个报名表单工具一键搞定
-
报名表单广泛应用于各类活动、课程、会议和招募等场景中，用于收集报名者的个人信息和参与意愿，方便组织者进行统计、管理和沟通。表单制作不需要写代码，学会借助线上报名表单工具就能一键搞定。...
- 货代人的表单制作方式，该升级了!
-
很多在货代行业工作的人可能会思考是否将销售岗位转为操作岗位，因为货代销售工作需要不断迎接业绩的挑战，每个月都要全力以赴，但绩效考核的结果并不总是确定的。...
- 为你的WordPress widget建立表单
-
通过之前的三部分教程我们已经创建了一个自己的WordPresswidget。今天我们将给大家介绍如何为你的widget创建表单，以至于WordPress可以及时的更新widget设置。为widget...