基于核模糊聚类的多模型LSSVM回归建模

控制与决策方面的一些热门文献

第23卷第5期

Vol.23No.5

控　制　与　决　策

Control

and

Decision

　　2008年5月

May2008

　　文章编号:100120920(2008)0520560203

基于核模糊聚类的多模型LSSVM回归建模

李　卫,杨煜普,王　娜

(上海交通大学自动化系,上海200240)

摘　要:针对大规模数据采用单模型回归存在精度差和计算量较大的问题,提出一种基于核模糊聚类的多模型最小二乘支持向量回归建模方法.该方法首先使用基于条件正定核的模糊C均值聚类算法对数据集做出聚类划分;然后针对每个聚类做最小二乘支持向量回归估计;同时根据每个聚类内数据分布的特征,给出了一种简单的核参数选择方法.利用数值仿真实验进行非线性函数估计,实验结果表明了所提出的方法具有良好的精度和泛化能力.关键词:核模糊聚类;多模型;最小二乘支持向量机中图分类号:TP18　　　　文献标识码:A

Multi2modelLSSVMregressionfuzzy

clustering

LIWei,YANGYu2pu,WA(Departmentof,University,Shanghai200240,China.Correspondent:LIWei,E2mail:wei_leaAbstract:Indealingwithmassivedata,asinglemodelusuallysuffersfrombadaccuracyandbigcomputation.Therefore,amulti2modelLSSVM(leastsquaresupportvectormachine)basedonkernelfuzzyclusteringfornonlinearmodelingispresented.Aconditionallypositivedefinitekernel2basedfuzzyC2meansclusteringalgorithmisusedtomakeapartitionforthedataset.ThenLSSVMisusedtoachieveregressionforeachcluster.Accordingtothecharacterofdatadistributioninclusters,asimpleparameterselectioncriterionforkernelfunctionisproposed.Thenumericalsimulationresultsillustratetheeffectivenessoftheproposedapproach.Keywords:Kernelfuzzyclustering;Multi2model;Leastsquaresupportvectormachine.

1　引　　言

　　基于统计学习理论的支持向量机(SVM)是近几年最流行的机器学习工具之一,已在模式识别、信号处理和函数估计等领域得到了成功应用.SVM的训练涉及到求解一个二次规划问题,在处理较大规模数据时不可避免地存在计算量和内存消耗过大的缺点.最小二乘支持向量机(LSSVM)是SVM的扩展,通过选用不同的损失函数来避免求解二次规划问题,转而求解一组线性方程,从而提高运算速度.但是,在处理实际问题时,由于数据的复杂性以及野点的存在,单一的回归模型往往不尽如人意,而采用多模型则显得更加合理.　　文献[1]提出了基于满意模糊C聚类的多模型辨识方法,得到的多模型系统能在全局拟合和局部

收稿日期:2007201216;修回日期:2007205223.

特性间作出权衡;文献[2]采用模糊C均值聚类和RBF神经网络相结合来进行多模型软测量建模,结

果证明多模型方法具备更好的精度和泛化能力.　　传统模糊C均值聚类方法依赖于数据分布形状,并且对孤立点敏感,这势必影响到最终的模型性能.对此,本文提出一种基于条件正定核函数的模糊C均值聚类算法,使用核技巧将样本映射到高维特

征空间聚类,实现对不规则形状数据聚类;再将聚类算法和最小二乘支持向量机相结合,得出了一种多模型回归建模方法.

2　核模糊C均值聚类

文献[3,4]给出过核聚类的算法,取得了良好的聚类效果.但这些方法所求得的聚类中心存在于高维特征空间中,由于映射函数未知,最后只能采用

基金项目:国家973重点基础研究发展基金项目(2004CB720703).

),男,安徽怀宁人,博士生,从事复杂系统建模的研究;杨煜普(1957—),男,西安人,教授,作者简介:李卫(1979—

博士生导师,从事智能控制、智能信息处理等研究.

控制与决策方面的一些热门文献

第5期李卫等:基于核模糊聚类的多模型LSSVM回归建模　　　

k

n

mij

n

kj

ij

561

-1).

(7)

估算的方法得到聚类中心的位置.本文给出的聚类算法能够克服这一缺点.

传统模糊C均值聚类是将平方范数作为聚类相似性衡量标准的.若存在样本集X={xi|i=1,2,…,n},模糊C均值聚类的价值函数为

k

k

n

mij

-2

i=1j=1

∑∑u

[1+K(xi,cj)]+

j=1

λ(∑u∑

i=1

分别对J <关于u,c和λ求偏导,得到新的聚类中心c

和隶属度矩阵U的更新公式如下:

nn

J=

j=1

∑Ji

k

=

j=1i=1

∑∑u

‖xi-cj‖,

2

(1)

cj=

(2)

uij=

∑u

i=1

mij

K

mij

-1

(xi,cj)xi

,

(8)

(xi,cj)

.

(9)

约束于

j=1

∑u

k

K

-1

∑u

ij

=1,0≤uij≤1.

-1/m-1

j=1

其中:k为聚类个数,cj为聚类中心,uij为样本xi对

)是一个加应于第j个聚类的隶属度值,m∈[1,∞

权指数.通过拉格朗日乘子法,构造目标函数如下:

λJ (U,c1,…,ck,λ1,…,n)=

n

ki

ij

∑(1+

K(xi,cj))

-1/m-1

J(U,c1,…,ck)+

n

k

m

ij

i=1

λ(∑u∑

j=1n

-1)=

k

i=1j=1

∑∑u

‖xi-cj‖2

i1

i

j=1)最小化J U的更

新公式.

　　引入非线性映射<:x→<(x),特征空间中的样本距离则定义为

2

‖<(xi)-<(cj)‖=

K(xi,xi)+K(cj,cj)-2K(xi,cj),

(3)

　　根据以上结果,C均值聚类算法可

,k,用[0,1]间的随U,使其满足式(2)中的约束条.　　Step2:计算核矩阵K(xi,cj).　　Step3:用式(8)计算k个聚类中心cj(j=1,2,…,k).　　Step4:根据式(6)计算价值函数.如果价值函数值或变化值小于某个既定的阈值,则算法停止,样本按所属隶属度最高值分类;否则,转至Step5.　　Step5:用式(9)计算新的U矩阵,返回Step2.

其中K为核函数.在SVM中应用的核函数一般需

满足Mercer条件[5].但在一般的核学习过程中,并非都需满足Mercer条件,而且Mercer条件也显得过于苛刻了.这里,讨论一种条件正定核[6],它可以用于核学习,且能简化距离计算.

χ→R对所有　　定义1[6]　一个对称函数K:χ×

m

3　多模型LSSVM回归建模

　　最小二乘支持向量回归机思想可简单表述如

下[7]:若{(x1,y1),…,(xN,yN)}<Rn×R是一个训练样本集,线性回归函数为f(x)=ωTx+b,ω∈F,b为偏置.利用结构风险最小化原则,优化问题为

ω22

min{‖‖+Cξi},

2i=1

N

∑

χ和所有的ci∈R,的m∈N,xi∈

一个正定的Gram矩阵,即

mi,j=1

i=1

c∑

i

=0,产生

s.t.yi-(wxi+b)=ξi,

i=1,2,…,N.

(10)

∑

cicjK(xi,xj)≥0,(4)

则K为一个条件正定核.下面就是一个常见的条件

正定核:

221/2

K(x,y)=-(‖x-y‖+b),b∈R.(5)　　不妨设b=1,将以上核代入式(3),改写聚类价值函数(1),得到

J<=

k

k

n

m2

uij‖<(xj)-<(ci)‖=

用拉格朗日乘子法求解,优化问题最终转化为求解方程组

01b0

=.

1xTx+c-

…… 此处隐藏：6357字，全部文档内容请下载后查看。喜欢就下载吧 ……