机器学习:简单理解支持向量机SVM 支持向量机是干嘛的
haoteby 2024-12-30 04:15 8 浏览
在介绍过贝叶斯之后，今天尝试着给大家介绍支持向量机SVM。
在机器学习中，SVM试图找到一个最佳的超平面，该平面可以最佳地分割来自不同类别的观察结果。一个在N-1维的超平面可以分割?维的特征空间。例如，二维特征空间中的超平面是一条线，而三维特征空间中的超平面是一个面。最佳超平面即不同特征空间中离该超平面最近的点的距离最大，这些最近的点就是所谓的支持向量。如下图：一定理解：支持向量是离最佳超平面最近的点
SVM的原理
根据前面提到的SVM定义，其实我们可以有无限多个可行的超平面。我们如何确定最佳选择？让我一步步来说明
- 认识超平面
首先，我们需要了解什么才是一个合格的超平面。在以下示例中，超平面C是唯一正确的，因为它成功地按其标记将观察结果分开，超平面A和B却失败了。我们可以从数学上来看：
在二维空间中，一条线可以由一个斜率向量w（二维）和一个截距b来定义。类似地，在n维空间中，超平面可以由n维向量w和截距b定义。超平面上的任何数据点x都满足
如果一个超平面满足以下2点，则为合格的超平面：
- 对于来自一类的任何数据点x，它都满足
- 对于来自另一个类的任何数据点x，它都满足
w和b可能有无数种可能。因此，接下来我们探讨如何在可能的超平面中确定最佳的超平面
- 确定最佳超平面
在以下实例中，ABC都是合格的超平面，但C才是最佳超平面，为什么呢？因为C使正侧最近的数据点与其自身之间的距离与负侧最近的数据点与其自身之间的距离的和最大。此时正侧的最近点可以构成一个平行于决策超平面的超平面，我们称其为正超平面。另一方面，负侧的最近点构成负超平面。正负超平面之间的垂直距离称为余量，其值等于上述两个距离的总和。如果余量最大化，则决策超平面是最佳的。
下面显示了使用两个类别的样本训练的SVM模型的最大余量（最佳）超平面和余量。边缘上的样本（一个类别中的两个黄星，另一类别中的一个蓝点，如下所示）就是所谓的支持向量。
运用SVM的机器学习要做的呢就是去找到这个最佳超平面，具体过程设计到好多数学知识，这儿不展开（1是因为头条写公式太垃圾，2是我也不会，哈哈哈）
其实了解这么多就差不多了，但是还有一种情况
想一想这个时候，如何处理如图这个情况
接下来继续
离群值的处理
对于含有离群值的数据这个时候其实是找不到最优超平面的，此时用SVM时我们允许分类错误，但是会尽量最小化引入的误差。对于一个样本X它的分类错误可以表示为：
为了计算简便对于一组m个样本的训练集：
分类错误可以表示为
但要理解，其中参数C控制两个指标（模型方差与偏倚）之间的权衡。
当选择大值的C时，错误分类的惩罚会变得相对较高，这使得数据分割变得更加严格（尽可能分成标准的2类），模型易于过拟合。具有大C的SVM模型具有较低的偏差，但可能会有较大的方差。
相反，当C的值足够小时，错误分类的影响变得相对较小，这允许更多错误分类的数据点，从而使得分割不太严格。C较小的SVM模型方差低，但可能会偏倚较大。
图示如下：
参数C可以通过交叉验证进行微调，之后讲。
感谢大家耐心看完，发表这些东西的主要目的就是督促自己，希望大家关注评论指出不足，一起进步。内容我都会写的很细，一个目的就是零基础也能懂，因为自己就是什么基础没有从零学Python的。
相关推荐
- 一日一技:用Python程序将十进制转换为二进制
-
用Python程序将十进制转换为二进制通过将数字连续除以2并以相反顺序打印其余部分，将十进制数转换为二进制。在下面的程序中，我们将学习使用递归函数将十进制数转换为二进制数，代码如下：...
- 十进制转化成二进制你会吗?#数学思维
-
六年级奥赛起跑线：抽屉原理揭秘。同学们好，我是你们的奥耀老师。今天一起来学习奥赛起跑线第三讲二进制计数法。例一：把十进制五十三化成二进制数是多少？首先十进制就是满十进一，二进制就是满二进一。二进制每个...
- 二进制、十进制、八进制和十六进制，它们之间是如何转换的?
-
在学习进制时总会遇到多种进制转换的时候，学会它们之间的转换方法也是必须的，这里分享一下几种进制之间转换的方法，也分享两个好用的转换工具，使用它们能够大幅度的提升你的办公和学习效率，感兴趣的小伙伴记得点...
- c语言-2进制转10进制_c语言 二进制转十进制
-
#include<stdio.h>intmain(){charch;inta=0;...
- 二进制、八进制、十进制和十六进制数制转换
-
一、数制1、什么是数制数制是计数进位的简称。也就是由低位向高位进位计数的方法。2、常用数制计算机中常用的数制有二进制、八进制、十进制和十六进制。...
- 二进制、十进制、八进制、十六进制间的相互转换函数
-
二进制、十进制、八进制、十六进制间的相互转换函数1、输入任意一个十进制的整数，将其分别转换为二进制、八进制、十六进制。2、程序代码如下：#include<iostream>usingna...
- 二进制、八进制、十进制和十六进制等常用数制及其相互转换
-
从大学开始系统的接触计算机专业，到现在已经过去十几年了，今天整理一下基础的进制转换，希望给还在上高中的表妹一个入门的引导，早日熟悉这个行业。一、二进制、八进制、十进制和十六进制是如何定义的？二进制是B...
- 二进制如何转换成十进制?_二进制如何转换成十进制例子图解
-
随着社会的发展，电器维修由继电器时代逐渐被PLC，变频器，触摸屏等工控时代所替代，特别是plc编程，其数据逻辑往往涉及到数制二进制，那么二进制到底是什么呢？它和十进制又有什么区别和联系呢？下面和朋友们...
- 二进制与十进制的相互转换_二进制和十进制之间转换
-
很多同学在刚开始接触计算机语言的时候，都会了解计算机的世界里面大多都是二进制来表达现实世界的任何事物的。当然现实世界的事务有很多很多，就拿最简单的数字，我们经常看到的数字大多都是十进制的形式，例如：我...
- 十进制如何转换为二进制，二进制如何转换为十进制
-
用十进制除以2，除的断的，商用0表示；除不断的，商用1表示余0时结束假如十进制用X表示，用十进制除以2，即x/2除以2后为整数的（除的断的），商用0表示；除以2除不断的，商用1表示除完后的商0或1...
- 十进制数如何转换为二进制数_十进制数如何转换为二进制数举例说明
-
我们经常听到十进制数和二进制数，电脑中也经常使用二进制数来进行计算，但是很多人却不清楚十进制数和二进制数是怎样进行转换的，下面就来看看，十进制数转换为二进制数的方法。正整数转二进制...
- 二进制转化为十进制，你会做吗?一起来试试吧
-
今天孩子问把二进制表示的110101改写成十进制数怎么做呀？，“二进制”简单来说就是“满二进一”，只用0和1共两个数字表示，同理我们平常接触到的“十进制”是“满十进一”，只用0-9共十个数字表示。如果...
- Mac终于能正常打游戏了!苹果正逐渐淘汰Rosetta转译
-
Mac玩家苦转译久矣！WWDC2025苹果正式宣判Rosetta死刑，原生游戏时代终于杀到。Metal4光追和AI插帧技术直接掀桌，连Steam都连夜扛着ARM架构投诚了。看到《赛博朋克2077》...
- 怎么把视频的声音提出来转为音频?音频提取，11款工具实测搞定
-
想把视频里的声音单独保存为音频文件（MP3/AAC/WAV/FLAC）用于配音、播客、听课或二次剪辑？本文挑出10款常用工具，给出实测可复现的操作步骤、优缺点和场景推荐。1）转换猫mp3转换器（操作门...
- 6个mp4格式转换器测评:转换速度与质量并存!
-
MP4视频格式具有兼容性强、视频画质高清、文件体积较小、支持多种编码等特点，适用于网络媒体传播。如果大家想要将非MP4格式的视频转换成MP4的视频格式的话，可以使用MP4格式转换器更换格式。本文分别从...