支持向量机原理及展望(简单介绍)

支持向量机原理及展望

The principle and prospect of support vector machine

陈冰梅1,2，樊晓平1，周志明3，李雪荣2

CHEN Bing-mei1,2, FAN Xiao-ping1, ZHOU Zhi-ming3, LI Xue-rong2

（1. 中南大学 信息科学与工程学院，长沙 410083；2. 中南大学 湘雅二医院，长沙 410011）

3. 长沙环境保护职业技术学院，长沙 410004）摘 要：支持向量机(SVM)是90年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。该方法不但算法简单,而且具有较好的“鲁棒”性，与神经网络相比，它的优点是训练算法中不存在局部极小值问题，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中，现在已经在许多领域取得了成功的应用。

关键词：支持向量机；神经网络；分类器；核函数

中图分类号：TP273 　 文献标识码：A 　 文章编号：1009-0134(2010)12(上)-0136-03Doi: 10.3969/j.issn.1009-0134.2010.12(上).45

0 引言

支持向量机(Support Vector Machine,SVM)是由Vapnik领导的AT&TBell实验室研究小组在1963年提出的一种新的非常有潜力的分类技术，SVM是一种基于统计学习理论的模式识别方法，主要应用于模式识别领域。由于当时这些研究尚不十分完善，在解决模式识别问题中往往趋于保守，且数学上比较艰涩，这些研究一直没有得到充分的重视。直到90年代，统计学习理论 (Statistical Learning Theory，SLT)的实现和由于神经网络等较新兴的机器学习方法的研究遇到一些重要的困难，比如如何确定网络结构的问题、过学习与欠学习问题、局部极小点问题等，使得SVM迅速发展和完善，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中，从此迅速的发展起来，现在已经在许多领域取得了成功的应用。

大的那个面，该面亦称为最大间隔超平面。如果我们能够找到这个面，那么这个分类器就称为最

大间隔分类器。

图1 多种分类超平面示意图

1 基本原理

假设如图1这些数据点是n维实空间中的点。我们希望能够把这些点通过一个n-1维的超平面分开。通常这个被称为线性分类器。有很多分类器都符合这个要求。但是我们还希望找到分类最佳的平面，即使得属于两个不同类的数据点间隔最

如图1有很多个分类器(超平面)可以把数据分开，但是只有一个能够达到最大分割。

支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。建立方向合适的分隔超平面使两个与之平行的超平面间的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。

支持向量机属于一般化线性分类器。他们也可以认为是提克洛夫规则化（Tikhonov Regularization）方法的一个特例。这种分类器的特点是他们能够同时最小化经验误差与最大化几何边缘区。因此支持向量机也被称为最大边缘区

收稿日期：2010-08-17

基金项目：国家自然科学基金题（39270262）

作者简介：陈冰梅（1963 -），女，广西玉林人，高级，工程师，在读博士，研究方向为人工智能和智能计算。【136】 第32卷 第12期

2010-12(上)

分类器。

所谓支持向量是指那些在间隔区边缘的训练样本点。 这里的“机（machine,机器）”实际上是一个算法。在机器学习领域，常把一些算法看

做是一个机器。

图2 在超平面上的样本点也称为支持向量

如图2设样本属于两个类，用该样本训练svm得到的最大间隔超平面。在超平面上的样本点也称为支持向量，支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力 。

支持向量机(Support vector machines，SVM)与神经网络类似，都是学习型的机制，但与神经网络不同的是SVM使用的是数学方法和优化技术。

2 支持向量机的算法

SVM的支持向量机的主要思想可以概括为两点: 1）它是针对线性可分情况进行分析，对于线性不可分的情况,通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能；

2）它基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得学习器得到全局最优化，并且在整个样本空间的期望风险以某个概率满足一定上界。

支持向量机的目标就是要根据结构风险最小化原理，构造一个目标函数将两类模式尽可能地区分开来，通常分为两类情况来讨论：线性可分与线性不可分。2.1 线性可分情况

在线性可分的情况下，就会存在一个超平面使得训练样本完全分开，该超平面可描述为:

w x + b = 0 (1)其中，“ ”是点积, w是n维向量, b为偏移量。

最优超平面是使得每一类数据与超平面距离最近的向量与超平面之间的距离最大的这样的平面，最优超平面可以通过解下面的二次优化问题

来获得：

(2)

满足约束条件：

，i=1,2,3,......,n (3)

在特征数目特别大的情况，可以将此二次规划问题转化为其对偶问题：

(4)

(5)

(6)

满足约束条件：

i=1,2,3,......,n

(7)这里α=(α1,...,αn)是Lagrange 乘子，b*是最优超

平面的法向量， 是最优超平面的偏移量,在这类优化问题的求解与分析中，KKT条件将起到很重要的作用，在(7) 式中,其解必须满足：

(8)

从式(5)可知,那些aι=0的样本对分类没有任何

作用，只有那些aι>0的样本才对分类起作用，这些样本称为支持向量，故最终的分类函数为：

(9)

根据f (x)的符号来确定X 的归属。2.2 线性不可分的情况

对于线性不可分的情况,可以把样本X 映射到

一个高维特征空间H，并在此空间中运用原空间的函数来实现内积运算，这样将非线性问题转换成另一空间的线性问题来获得一个样本的归属，根据泛函的有关理论，只要一种核函数满足Mercer 条件,它就对应某一空间中的内积，因此只要在最优分类面上采用适当的内积函数就可以实现这种线性不可分的分类问题。此时的目标函数为：

第32卷 第12期 2010-12(上)

【137】

(10)

其相应的分类函数为:

(11)

2.3 内积核函数

SVM的关键在于核函数。低维空间向量集通

常难于划分，解决的方法是将它们映射到高维空间。但这个办法带来的困难就是计算复杂度的增加，而核函数正好巧妙地解决了这个问题。也就是说，只要选用适当的核函数，就可以得到高维空间的分类函数。在SVM理论中，采用不同的核函数将导致不同的SVM算法。目前有三类用的较多的内积核函数：第一类是

(12)

我们所能得到的是p阶多项式分类器，第二类

是径向基函数（RBF），也称作高斯核函数：

(13)

第三 …… 此处隐藏：3114字，全部文档内容请下载后查看。喜欢就下载吧 ……