支持向量机算法的研究及其应用(4)

皇＝０，因此，对于任一标准支持向量，满足（１．１８１、。对于标准支持向量（０＜Ｏｔｔ＜Ｃ），由式（１．１６）得到屈＞０，则由式（１．１８）得到

ｙｆ的－ｘ，＋６）＝１

从而计算参数ｂ为（１．１９）

ｂ＝乃一∞ ｘ，＝咒一∑哆乃ｘＪ ｘ，，ｘｆ∈ＪＮ

ＩｊＥＪ（】．２０）

为了计算可靠，对所有标准支持向量分别计算ｂ的值，然后求平均，即

６＝—古∑（只一∑哆乃（ｘ，，ｘ，））』ＶＮＳＶｘｉ∈ＪＮ（１．２１）ｘ∈Ｊ

其中，ⅣＮｓｖ为标准支持向量数，ＪＮ为标准支持向量的集合，３为支持向量的集合。

由式（１．１９）可知，支持向量机就是满足式（１．１６）要求的样本数据，支持向量如图１．４所示。２（１．１７）中的约束条件约束了∞，ｂ使得经验误差为０，同时最小化Ｉｂｌｌ２ｖｃ维最小，因此，式（１．１７）的最优化体现了结构风险最小化准则，具

算法

』Ｌ—————————————————一塑二雯笪堡

有较好的推广能力。

１５．２非线性情况

训练集为非线性时，通过一个非线性函数矽（．）将训练集数据Ｘ映射到一个高维线性特征空间，在这个维数可能为无穷大的线性空间中构造最优分类超平面，并得到分类器的决策函数。因此，在非线性情况，分类超平面为

∞’≯（ｘ）＋ｂ＝０

决策函数为（１．２２）

ｆ（ｘ）＝ｓｉｇｎ曲 ≯（ｘ）＋ｂ］

最优分类超平面问题描述为（１．２３１

魄圭如＋ｃ善１专

ｓ．ｔ．ｙｆ（ｔｏ’Ｏ（ｘ，）＋６）≥１一毒（１．２４）

专≥０，扛１，…，，

类似于１．５．１节，得到对偶最优化问题

ｆ厶：圭呸一丢杰杰ｑ哆咒乃矿（ｘＩ）．≯（ｘ，）…爿Ｐ１ｍａｘ｛

。ｆ：∑Ｉ％一丢杰圭％ａｆｆｙｓＫ（ｘ州‘１

Ｌｉ＝１‘１＝１ｊ＝ｌ

ｓ．ｔ．０≤口ｆ≤Ｃ（１．２５）

∑ＧｇｉＹｉ＝０

其中Ｋ（ｘ，，ｘ，）＝≯（ｘ，）‘矽（ｘ，）称为核函数。决策函数和参数６分别为

，

夕（ｘ）＝ｓｉｇｎ（∑乃ｑＫ（ｘ，，ｘ）＋６）

ｉ＝１（１．２６）

６２忐§（圹荟峨酢川）

其中ⅣＮｓｖ为标准支持向量数，ＪＮ为标准支持向量的集合，Ｊ为支持向量的集

算法

Ｏｄ式（１．２５）一式（１．２７）失Ｗ，尽管通过非线性函数将样本数据映射到具有高维甚至于无穷维的特征空间，并在特征空间中构造最优分类超平面，但在求解最优化问题和计算决策函数时并不需要显式计算该非线性函数，而只需计算核函数，从而避免特征空间维数灾难问题。核函数的选择必须满足Ｍｅｒｃｅ条件【、，ａｐＩｌｉｋ，１９９５］。常见的核函数有线性函数Ｋ（ｘ，，ｘ）＝ｘ， ｘ、多项式函数Ｋ（ｘ，，ｘ）＝（ｘ，＋ｘ＋１）４、径向基函数Ｋ（ｘ，，ｘ）＝ｅｘｐ（一０Ｘ－－Ｘｉｌ｜２／盯２）、多层感知器函数Ｋ（ｘ，，Ｘ）＝ｔａｎｈ（ｋｘ， ｘ＋０）。

对于式（１．１８）的ＫＫＴ条件，也可以写为（非线性情况１

ＩＹｉ＠‘Ｏ（ｘ，）＋６）≥１

｛Ｙｉ＠’矽（ｘ，）＋ｂ）＝１

【ｙ，的’Ｏ（ｘ，）＋ｂ）≤１ｑ＝００＜口．＜Ｃ（１．２８）口，＝Ｃ

由于ＫＫＴ条件是充要条件，利用上式可判别ａ是否为最优。

１．５．３支持向量机的说明

超平面的分类能力是有限的，下面通过支持向量机引入了分离曲面的概念。ＳＶＭ的基本思想是：通过某种非线性映射，将输入向量ｘ映射到一个高维的特征空间，在这个高维的特征空间Ｚ中，构造最优分离超平面。如图１．５所刀＜ｏ

面ｌ

●●●●●输入空ｍ

图１．５输入空间与高维特征空间之间的映射关系

算法

第～章绪论

首先，考虑一个非线性的映射≯．ｘ，一Ｚ，；（如图１．５所示）。其中，ｘ，为输入空间的输入向量，ｚ，为高维的特征空间Ｚ的向量。如果在Ｚ中求解最优分离超平面，就需要在高维特征空间计算内积（矽（ｘ） ≯（ｘ，）），则定义这个内积为核函数，Ｋ（ｘ，，ｘ）＝≯（ｘ，）１ ≯（ｘ）。这样可以得到在高维特征空间中的最优分离超平面的“分类规则”，可由如下的决策函数来表示：

，

夕（ｘ）＝ｓｉｇｎ（∑Ｍ口，Ｋ（ｘ，，ｘ）＋６）（１．２９）

输入向量ｘ

图１．６支持向量机网络

图１．６中形象化地给出了支持向量机工作的逻辑概念框架。它与神经元网络最大的差别是，神经元网络中的节点是“无结构单元”，这样，在进行训练学习过程中无法控制其学习能力，这种学习能力可能是无穷大，因而容易出现过学习现象。而支持向量机网络（如图１．６），其中的学习单元是有结构的，而且通过结构风险最小化归纳原理控制了此学习单元的ＶＣ维的上界，也就是限制了学习单元的学习能力，因此不易出现过学习现象。

支持向量机的重要特征之一是解的稀疏性，即多数最优值ｑ为０，只有少量的口．不为０，也就是说只需少量样本（支持向量）就可构成最优分类器，这样有用的样本数据大大压缩。

总之，支持向量机具有结构简单、推广性能好、学习速度快、优化求解时具有唯一的极小点等优点；另外，通过修正核函数，可以得到各种不同的分类曲面。

算法

浙江大学博士学位论文

１．６支持向量机理论的主要研究内容

支持向量机结构简单，并且具有全局最优性和较好的推广能力，自九十年代中期提出以来得到了广泛的研究。目前，还有很多关于ＳＶＭ和ＶＣ的理论和应用问题亟待研究。一方面，这种基于统计学习原理的理论思路对新的学习算法的提出很有启发，另～方面，由于ＳＶＭ出现不久，其理论依据和算法是尚有大量问题有待于发展和完善。在上述问题中，我们认为下面几个问题尤其值得研究：

（１）把ＶＣ理论和结构风险最小原理等理论框架进一步推广，产生新的学习算法或改进算法。

（２）完善ＳＶＭ方法。ＳｕｐｐｏｒｔＶｅｃｔｏｒｓ的确定可转化为约束的优化问题，

但当训练集的规模很大时，传统的优化方法难以满足实时性要求，如何设计快速有效算法是ＳＶＭ中的重要问题之一。

（３）基于ＳＶＭ算法的多类别分类方法。

（４）对非线性分类问题，ＳＶＭ的核方法仍有一些理论缺陷。

（５）在ＳＶＭ的应用研究方面，由于ＳＶＭ算法是对神经网络学习算法、

最小二乘法的改良，尚需要大量应用到实际问题中去，如建模、参数辨识和自适应控制等问题，并将它与已有的处理结果进行比较和分析，以便进一步深入研究。

目前主要对支持向量机理论如下的主要内容进行研究：各种改进的支持向量机新算法、降低训练时间和减少计算复杂性的训练算法、提高推广能力的模型选择方法以及多类别分类方法等方面的研究内容。

１．６．１各种支持向量机新算法的研究

目前支持向量机的变形算法主要有Ｃ—ＳＶＭ系列、ｖ－ＳＶＭ系列、Ｏｎｅ—ｃｌａｓｓＳＶＭ、ＲＳＶＭ（ｒｅｄｕｃｅｄＳＶＭ）、ＷＳＶＭ（ｗｅｉｇｈｔｅｄＳＶＭ）和ＬＳ－ＳＶＭ（１ｅａｓｔ—ｓｑｕａｒｅＳＶＭ）等算法。这些变形算法主要是通过增加函数项，变量或系数等方法使公式变形，产生出各种有某一方面优势或者一定应用范围的算法。

Ｃ—ｓⅧ系列算法１．６．１．１

Ｃ—ＳＶＭ系列算法主要有以下四种算法 …… 此处隐藏：805字，全部文档内容请下载后查看。喜欢就下载吧 ……