SVM与神经网络在时间序列预测中的比较

支持向量机资料

■博士论坛■现代管理科学■２００６年第９期

SVM与神经网络在时间序列预测中的比较

●奉国和

摘要：神经网络和支持向量机都能有效地预测时间序列数据，但各自结构特点不同，导致其预测性能有差别。文章从理论和实践上比较了支持向量机与神经网络的优缺点。

关键词：支持向量；神经网络；时间序列；预测时间序列数据具有躁声、不稳定、随机性、非线性等特点［１，２］，而神经网络在非线性建模中具有优势，它不必建立复杂的数学模型即可完成预测。目前已有很多工作者研究神经网络，并将其应用到时间序列数据预测中去，取得了不错的效果。但由于神经网络算法采用的是经验风险最小化原则，容易陷入局部极小点，收敛速度慢等缺点，这些不足极大地限制这些方法在实际中的应用。支持向量机（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅｓ，ＳＶＭ）采用的结构风险最小化原则，整个求解过程转化一个凸二次规划问题，解是全局最优的和唯一的。由于很好地克服了神经网络的一些不足，而在实际应用中取得了很好的性能表现。

一、支持向量机理论

支持向量机是基于统计学习理论（ＳｔａｔｉｓｔｉｃａｌＬｅａｒｎｉｎｇＴｈｅｏｒｙ，ＳＬＴ）发展起来的。传统的统计学所研究的主要是渐近理论，即当样本趋向于无穷多时的统计性质。在现实问题中，给出的样本数目通常是有限的，但传统上仍以样本数目无穷多为假设来推导各种算法，并期望算法在样本较少时也能有较好的（至少是可接受的）表现。不过情况往往相反，其中，神经网络过学习问题就是一个典型的代表：当样本数有限时，本来很不错的一个学习机器却可能表现出很差的推广能力。人们对于解决此类问题的努力实际上一直在进行。但是，其中多数工作集中在对已有（基于传统统计学原则的）方法的改进和修正，或者利用启发式方法设计某些巧妙的算法。而统计学习理论则系统地研究了机器学习的问题，尤其是有限样本情况下的统计学习问题。统计学习理论是目前针对小样本统计估计和预测学习的最佳理论，它从理论上系统地研究了经验风险最小化原则成立的条件、有限样本下经验风险与期望风险的关系及如何利用这些理论找到新的学习原则和方法等问题，统计学习理论因为对有限样本情况下模式识别、函数逼近中的一些根本性问题进行了系统的理论研究，在很大程度上解决了模型选择与过学习问题、非线性和维数灾难问题、局部极小点问题等，因此成为研究的热点。

或许是由于统计学习理论为人们系统研究有限样本情况下机器学习问题提供了有力的理论基础，或许更是因为在这一基础上的支持向量机方法所表现出的令人向往的优良特性，人们开始迅速重视起该学术方向。现在，越来越多的学者认为，关于统计学习理论和支持向量机的研究，将很快出现象在８０年代后期人工神经网络研究那样

的飞速发展阶段。与传统神经网络所不同的是，统计学习理论有完备的理论基础和严格的理论体系（相比之下神经网络有更多的启发式成分），而且其出发点是更符合实际情况的有限样本假设，具有更强的科学性。

Ｖａｐｎｉｋ博士就是统计学习理论的创立者之一，也是支持向量机方法的主要发明者。该理论方法最早是由Ｖａｐｎｉｋ领导的ＡＴ＆ＴＢｅｌｌ实验室研究小组提出，最初用来解决模式识别的，其第一个应用是Ｖａｐｎｉｋ等人在美国ＡＴ＆Ｔ实

验室做的手写数字识别，他们利用美国国家邮政总局数据库提供的７３００个训练样本和２０００个测试数据设计了多项式、径向基函数、二层神经网络等不同形式的支持向量机，样本的分辨率为１６×１６象素，系统维数为２５６，实验表明３种结果ＳＶＭ得到的支持向量数目接近（２７４、２９１、

２５４），其中共同的支持向量数目约为８０％，识别率要好于

神经网络。

后来支持向量机扩展应用到函数逼近、回归估计等问题。无论是模式识别还是函数逼近，支持向量机都将求解问题最终归结为一个线性约束的凸二次规划（ＱＰ）问题，求出的解是全局最优的和唯一的。

二、径向基神经网络理论

１９８８年Ｂｒｏｏｍｈｅａｄ和Ｌｏｗｅ提出了一种多变量函数迭代和自适应网络，称为径向基函数网络（ＲａｄｉａｌＢａｓｉｓＦｕｎｃｔｉｏｎＮｅｔｗｏｒｋ，简称ＲＢＦＮ）。这种结构近似于多层前向

神经网络。径向基函数网络由输入层、隐藏层和输出层组成的三层结构，由于这种网络结构简单，学习速度快，引起了人们的广泛关注。Ｄ．Ｓ．Ｂｒｏｏｍｈｅａｄ，Ｊ．Ｍｏｏｄｙ，Ｓ．Ｃｈｅｎ等人分别提出了一种径向基函数网络的快速学习算法，把径向基函数网络的学习过程分成两个独立的过程，这种算法称为两步算法（Ｔｗｏ—ＳｔｅｐＡｌｇｏｒｉｔｈｍ）。第一步确定隐藏层参数；第二步基于最小均方差标准学习确定输出层参数。

２０世纪９０年代中期，在这一理论框架下产生出了支

持向量机这一新的机器学习方法，或者说支持向量机是统计学习理论实现的具体表现。

－４０－

支持向量机资料

■２００６年第９期

具体算法中隐藏层采用高斯函数：

■现代管理科学■博士论坛

ｔｉｏｎ），这只能保证学习样本点的估计（分类）误差最小，实

际上，该误差应对所有可能的点都达到最小，即泛化性能最好。神经网络方法回避了经验风险能否收敛于实际风险以及收敛条件等重要问题。

尽管存在上述问题，神经网络在原有框架内仍然取得了很多成功应用。其原因就在于这些应用的设计者，在设计神经网络过程中，有效利用了自己的经验和先验知识。因此，神经网络系统的优劣是因人而异的。而支持向量机具有严格的理论和数学基础，可以有效克服神经网络的不足问题。

四、实证分析

我们采用２００２年１月４日￣２００４年４月１３日的上证１８０指数和深圳成指各５４３个数据点，采用相空间重构技术，通过某日前一段时间收盘价的历史数据来预测某日的收盘价格，也就是估计下面的动态系统：ｘｔ＝ｆ（ｘｔ－１，ｘｔ－２，…，ｘｔ－ｋ），其中ｘｔ为在时间ｔ的证券指数收盘价，ｋ为滞后时间值，这样系统的输入就是时间ｔ前ｋ个历史数据，而输出则是时间ｔ时的值。本文中我们取ｋ＝５，与每周的开市天数一样。记ｔ＝（ｘｔ－１，ｘｔ－２，Ｌ，ｘｔ－５），ｙｔ＝ｘｔ，则训练样本数据可表示为：（ｔ，

２ｉ｜｜），ｉ＝１，…，Ｃ，Ｇ（Ｘ，Ｔｉ）＝Ｇ（｜｜Ｘ－Ｔｉ｜｜）＝ｅｘｐ（－｜｜Ｘ－Ｔｉ其中Ｔｉ为高斯函数的中心，而!ｉ为高斯函数的宽度，

Ｃ为隐藏层的神经元数。算法步骤设计如下：第一步，利用ｋ－ｍｅａｎ分类法确定ＲＢＦ函数的中心和宽度，第二步，确定

隐藏层到输出层的权值。

两步法学习径向基函数网络计算量小、速度快，而且具有良好的推广能力，是目前使用比较广泛的一种ＲＢＦ神经网络学习算法。

三、ＳＶＭ与神经网络学习结构比较

统计学习理论系统地研究了各种类型函数集的经验风险和实际风险之间的关系，即推广性的界。即给出经验风险Ｒｅｍｐ（"）和实际风险Ｒ（"）之间至少以概率１－#满足下列关系：

Ｒ（"）"Ｒｅｍｐ（"）＋$（ｈ／ｎ，#）

上式右边包含了两项，第一项是经验风险，第二项是置信范围，这样要最小化风险，有两种方法：第一种方法是保持置信范围不变，最小化经验风险，这就是神经网络方法。这意味着神经网络先 …… 此处隐藏：2467字，全部文档内容请下载后查看。喜欢就下载吧 ……