轻松理解机器学习算法-支持向量机(SVM)
haoteby 2024-12-30 04:15 2 浏览
20世纪90年度，神经网络在研究人员中受到一定重视，但一种新的机器学习方法在这时声名鹊起，这种方法就是核方法（kernel method）。核方法是一组分类算法，其中最有名的就是支持向量机（support vector machine, SVM）。虽然Vladimir Vapnik和Alexey Chervonenkis早在1963年就发表了较早版本的线性公式，但SVM的现代公式由Vladimir Vapnik和Corinna Cortes于20世纪90年代初在贝尔实验室提出，并发表于1995年。
1、SVM简介
SVM的目标是通过在属于两个不同类别的两组数据点之间找到良好的决策边界（decision boundary）来解决分类问题。决策边界可以看作一条直线或一个平面，将训练数据划分为两块空间，分别对应于两个类别。对于新数据点的分类，只需判断位于决策边界的哪一侧。
2、SVM的训练过程
SVM通过两步来寻找决策边界：
（1）将数据映射到一个新的高维空间，这时决策边界可以用一个超平面来表示。
（2）尽可能让超平面与每个类别最近的数据点之间的距离最大化，然后计算出良好决策边界，这样决策边界可以很好地推广到训练数据集之外的新样本。
将数据映射到高维空间从而使分类问题简单化，这一想法很好，但在实践中很难实现。这时就需要用到核技巧（kernel trick），其核心思想为：要想在新的表示空间中找到良好的决策超平面，无需在新空间中直接计算点的坐标，只需要在新空间中计算点对之间的距离，而利用核函数（kernel function）可以高效地完成这种计算。核函数是一个在计算上能够实现的操作，将原始空间中的任意两点映射为这两点在目标表示空间中的距离，从而避免了对新表示进行直接计算。核函数通常是人为选择的，而不是从数据中学到的，对于SVM而言，只有分割超平面是通过学习得到的。
3、SVM的优缺点
优点：
- 效果好，分类边界清晰；
- 在高维空间中很有效；
- 在空间维数大于样本数的情况下很有效；
- 占用内存小，计算效率高。
缺点：
- 如果数据量过大，或者训练时间过长，SVM效果不佳；
- 如果数据中存在大量噪声，SVM效果不好；
- SVM在图像分类等感知问题上的效果也不好；
- SVM不能直接提供概率估计，需要进行多次交叉验证，代价过高。
SVM刚刚出现时，在简单的分类问题上表现出了最好的性能。当时只有少数机器学习方法得到大量的理论支持，并且适用于严谨的数学分析，因而非常易于理解和解释，SVM就是其中之一。由于SVM具有这些有用的性质，其在很长一段时间里非常流行。
（本文部分内容来自《Deep Learning with Python》，Francois Chollet著，张亮 译）
相关推荐
- wordpress集团公司网站模板:XSgr
-
小兽wordpress推出一款高端集团公司主题，打造高品质官网。高端是一种态度和坚持，因为我坚信贴合产品及品牌理念的高端深度定制才能最大化地呈现企业的务实严谨与产品的专业品质相比，某种程度上讲–...
- 宝塔搭建WordPress跨境电商外贸商城模板汉化woodmart7.5.1源码
-
大家好啊，欢迎来到web测评。本期给大家带来一套php开发的WoodmartV7.5.1汉化主题|跨境电商|外贸商城|产品展示网站模板WordPress主题，是wordpress开发的。上次是谁要的系...
- Wordpress建站设计技巧:用好Wordpress自带样板功能
-
作者：悦然wordpress建站(悦然建站）...
- 微软推出Azure平台WordPress模板:分分钟搭建博客
-
IT之家讯微软Azure云服务平台可以托管各种各样的Web服务，从企业应用后端服务到视频托管服务等等。WordPress是目前最为流行的博客平台，驱动着全球1/4的互联网网站。不过用户想要在Azur...
- wordpress公司展示型通用模板:XShw
-
主题介绍xshw公司模板是一款现代化风格、通用型公司展示的Wordpress公司建站模板，采用经典的颜色搭配、精致的模块布局、完善的列表模板、响应式自适应技术以及配置的大幅全屏轮播图、公司简介、业务介...
- WP模板开发中，怎样给wordpress网站的文章，添加点赞功能?
-
我们在网上浏览某些网站的文章时，在文章的结尾处，都会有一个点赞的按钮，如果觉得文章内容非常不错，就可以点击这个“点赞”按钮，给这篇文章进行点赞一下。在wordpress网站的模板主题开发中，我们可不可...
- 免费的WordPress模板
-
免费的WordPress模板有很多种类，适用于不同类型的网站需求。以下是一些推荐的免费WordPress模板，它们各具特色，适合多种用途：...
- 东港边检站开展全面清理自制执勤执法证件表单专项工作
-
为进一步提高边检机关依法行政和服务管理水平，根据部局和总站统一部署，6月3日下午，东港边检站迅速开展全面清理自制执勤执法证件表单专项工作。一是统一思想，提高认识。该站于6月3日召开专题会议，传达部局视...
- 两款超级好用的二维码生成器软件，铁铁们快码住
-
今天分享两款超级好用的二维码生成器，个人认为衡量是否是好用的二维码生成器的主要有以下维度（仅从用户体验角度）...
- 扫码填表如何拍摄现场照片?表单添加图片的二维码制作方法
-
现在通过扫描二维码来登记信息的方式非常的常见，有很多的应用场景会使用这种方式来统计数据，比如问卷调查、用户反馈、巡检结果等类型。通过扫码填写信息后，制作者可以及时的获取对应的数据做出反馈。那么表单二维...
- 纯干货∣教你如何制作一份具有法律效应的“电子合同”
-
表单中使用电子合同时，不仅需要进行功能设置，还需要制作一份PDF格式的模板...
- 金山表单硬核功能“在线考试”上线
-
近日，金山文档针对教师用户群体上线“在线考试”考试功能。教育从业者可在金山文档内完成考试、练习测验、竞赛和作业布置。与此同时，该功能还具备自动批改计分、答案解析、成绩展示、信息收集等特色功能。充分适配...
- 报名小程序怎么制作?借助这个报名表单工具一键搞定
-
报名表单广泛应用于各类活动、课程、会议和招募等场景中，用于收集报名者的个人信息和参与意愿，方便组织者进行统计、管理和沟通。表单制作不需要写代码，学会借助线上报名表单工具就能一键搞定。...
- 货代人的表单制作方式，该升级了!
-
很多在货代行业工作的人可能会思考是否将销售岗位转为操作岗位，因为货代销售工作需要不断迎接业绩的挑战，每个月都要全力以赴，但绩效考核的结果并不总是确定的。...
- 为你的WordPress widget建立表单
-
通过之前的三部分教程我们已经创建了一个自己的WordPresswidget。今天我们将给大家介绍如何为你的widget创建表单，以至于WordPress可以及时的更新widget设置。为widget...