免责声明：本文是根据我的个人理解来编写的，可能会存在一些错漏，如果造成任何损失，本人不承担任何责任，特此声明。

SVM是什么？

SVM是(Supported Vector Machine)支持向量机，用来实现向量分类、向量离群断定和向量曲线回归等。

向量(vector)是什么？

向量是指多维空间中的一个点。例如，某个n维空间中存在一个点，那么这个点可以表示为：

那么，这个点就是一个向量。

多维空间是什么？

多维空间是一个抽象空间。在这个空间中，每个点就是一个向量，向量的维数等于空间的维数。例如，对于一个大小为的图片，其维数就是维，如果这个图片是一个点，那么它所在空间就是576维的空间。为了更好地识别图片，有可能将这个点映射到更加高维度的空间中去。因此，我们只需要知道多维空间是一个抽象的空间就行。

支持向量(supported vector)是什么？

支持向量是指用来确定支持向量超平面的点。支持向量一定在支持向量超平面上，但是支持向量超平面上的点不都是支持向量。

超平面（hyperplane)是什么？

超平面是指多维空间中的平面，可以表示为：

其中，b和c是标量常数，法向量ω也是个常数，对于n维度空间，法向量ω可以表示为：

为了计算方便，构成margin的两个超平面中的c取值为正负1。使y取值为-1和1，则这两个超平面可以表示为:

支持向量机的间隔（margin）是什么？

在二维空间中，点到直线的距离的公式可以表示为：，其中，直线表达式为：。

在n维空间中，点到超平面的距离公式可以表示为：

其中，。

支持向量机的间隔（margin）是支持向量超平面之间的距离，一般取值为2d。为了计算2d,首先取两个支持向量超平面中间的一个超平面：

为了描述方便，我把这个超平面命名为决策超平面，其两侧的超平面为支持向量超平面。

则两个支持向量超平面上的点到决策超平面的距离d可以表示为：

因为支持向量所在超平面的c值为+1和-1，所以可以进一步去掉分子，可得：

因此，可得：

支持向量机的间隔2d越大，那么进行分类出错的几率就越小，分类效果就越好。SVM机器学习的目的就是使用样本，找到一个间隔最大的支持向量机，即：

，或者，或者，或者。

其中，向量要满足。

因此，向量机的优化问题就变成以下问题：

向量机的软间隔（soft margin）是什么？

现实中总是存在一些错误的样本，影响机器学习。为了剔除这些错误的样本的干扰，引入了软间隔（soft margin）这个概念，允许错误样本在软间隔之间。

软间隔允许某些点不遵循约束条件：

软间隔引入参数ξ（读作xi），使得在间隔之间的样本也符合以下约束条件：

或者

由于约束条件发生改变，优化目标函数也要做出相应的改变：

凸函数（convex）是什么？

以二维空间为例，使用任意直线去切割某一函数，如果交点线段总是在函数曲线的上方，那么这个函数就是凸函数。例如:

函数就是凸函数，不管如何使用直线切割，线段总是在函数曲线的上方。

凹函数（concave）是什么？

以二维空间为例，使用任意直线去切割某一函数，如果交点线段总是在函数曲线的下方，那么这个函数就是凹函数。例如:

函数就是凹函数，不管如何使用直线切割，线段总是在函数曲线的下方。

拉格朗日函数（Lagrangian）是什么？

对于优化函数：

拉格朗日函数为：

其中，和称作拉格朗日乘子（Lagrange multiplier）。

通过拉格朗日函数和对偶函数，可以找到优化函数的解。

拉格朗日对偶函数（Lagrange dual）是什么？

拉格朗日对偶函数定义为：

其中，inf是指infimum，即求下界的函数。拉格朗日对偶函数就是求拉格朗日函数的下界。

拉格朗日对偶问题（Lagrange dual problem）是什么？

拉格朗日对偶问题定义为：

即查找拉格朗日对偶函数的最大值。