支持向量机算法的研究及其应用

算法

浙江大学

博士学位论文

支持向量机算法的研究及其应用

姓名：范昕炜

申请学位级别：博士

专业：模式识别与智能系统

指导教师：吴铁军;杜树新

2003.5.1

算法

浙江火学博：ｔ学位论文

摘要

作为结构风险最小化准则的具体实现，支持向量机方法具有全局最优、结构筵单、推广能力强等饯点，返几年褥到了广泛嚣磷究。本文仔纲疆究了支持彝爨机理论，并针对目前…些支持向量机算法存在的缺陷，分析了产生的原因，提出了两种新的支持向量机算法。针对支持向量机算法难以处理大规模数据的问题，提出了甄张毅的支持向量枫分类方法。著就多类别分类阀题等方面开展了切步鲍理论研究。

本文主要工作篷强：

（１）讨论了支持向量机理论中各种变形的支持向餐枧算法，对常规支持向量机公式进行变形的算法主要有Ｃ—ＳＶＭ系列、ｖ．ＳＶＭ系列、Ｏｎｅ。ｃｌａｓｓＳＶＭ、ＲＳＶＭ、ＷＳＶＭ帮ＬＳ—ＳＶＭ等算法，逶过增翔蘧数矮、交量或系数等方法使公式变形，产生出各种有某一方面优势或者一定应用范围的算法。通过比较它们备自的优缺点等情况，为提出新的支持向量机算法做了理论准备。

（２）禽缨了超球嚣支持囱量极算法鲍惑想，以及趣球嚣襄超乎瑟的区别。研究了目前超球面支持向豢机算法，它们的目标函数中缺少了使分类间隔尽量大这个条件，丽这个条件是统计学习理论中结梅风险最小纯酶体现，轰接爱睽了算法的推广能力。因此，提出了一糖新的超球蕊支持向量机算法，具肖较好的推广能力，成功地解决了现有超球面支持向量机算法在推广能力的缺陷。

（３）针对菜些支持期蓬援舅法不麓勰淡样本类裂之闰差异造成懿不嶷影嫡的缺陷，提出了一种掰的加权支持向量机算法，该算法具有补偿类别差异的优点，可应用于解决多类剐分类问题。并且从另外一个角度对加权Ｃ－ＳＶＭ算法和加权ｖ＋ＳＶＭ箕法夔类别｛｝偿性§２进行了分毒写。

（４）提出了基于粗糙集理论和支持向量机理论的粗ＳＶＭ分类方法。该方法采用粗糙集满住约简的穗怨减少属健个数，且在属性约筒避程中选出凡缀合适的聪，睦集鳃残毅的属性集，使模型具礴一定的抗信息丢失能力。同时充分利用支持向量机理论的良好推广性能，提高了预测分类精度。

（５）提出了基予主戒分分析方法和支持商量梳理谂豹去噤声麓权ＳＶＭ分类方法。该方法通过日ｌ入主成分分析方法来降维去噪声，同时补偿类别豢异造成的不利影响，撼高了预测分类精度。

（６）把支持良羹辊理论应弱裂浮本处糕过程运幸亍状态整控中去。

关镳词：支持向量机，交形公式，加税，类剐差弊，分类精淡，超球面支持向嚣枫算法，污拳处理过程

算法

——塑鎏尘兰堕主兰垡堡壅！！！

ＡＢＳＴＲＡＣＴ

Ｉｎｔｈｉｓｄｉｓｓｅｒｔａｔｉｏｎ，ｓｏｍｅｐｒｏｂｌｅｍｓｏｆｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅａｌｇｏｒｉｔｈｍｓａｒｅａｎａｌｙｚｅｄ．Ｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｏｆｕｎｅｖｅｎｓｉｚｅｏｆｃｌａｓｓｅｓａｎｄｏｔｈｅｒｐｒｏｂｌｅｍｓ．ｔｗｏｎｅｗｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅａｌｇｏｒｉｔｈｍｓａｎｄｔｗｏｎｅｗｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｓａｒｅｓｈｏｗｅｄ．ＴｈｅｍａｉｎｒｅｓｅａｒｃｈｉｎｔｈｉｓｐａｐｅｒＣａｎｂｅｃｌａｓｓｅｄａｓｆｏｌｌｏｗｓ：

（１）Ａｎｏｖｅｒｖｉｅｗｏｎａｖａｒｉｅｔｙｏｆｃｌａｓｓｉｆｉｃａｔｉｏｎａｌｇｏｒｉｔｈｍｓｆｏｒｓｕｐｐｏｒｔｖｅｃｔｏｒ

ａｓｍａｃｈｉｎｅ（ＳＶＭ）ｉｓｇｉｖｅｎ．Ｓｏｍｅａｌｇｏｒｉｔｈｍｓｓｕｃｈ

（２）ｖ—ＳＶＭ，Ｏｎｅ—ｃｌａｓｓＳＶＭ．ＲＳＶＭ，ｗｅｉｇｈｔｅｄＳＶＭａｎｄＬＳ—ＳＶＭａｒｅｃｏｎｃｅｎｔｒａｔｅｄ．Ｂａｓｅｄｏｎｔｈｅｔｈｅｏｒｙｏｆｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ，ａｎｏｖｅｌａｐｐｒｏａｃｈｔｈａｔ

ｔＯｃｏｎｔａｉｎｓｓｕｐｐｏｒｔｖｅｃｔｏｒｓｄｅｓｃｒｉｂｉｎｇｔｈｅｈｙｐｅｒｓｈｐｅｒｅ

ｉＳｓｈｏｗｅｄ．ｓｅｐａｒａｔｅｓｔｈｅｓａｍｐｌｅｓ

（３）Ｗｈｅｎｔｒａｉｎｉｎｇｓｅｔｓ埘ｔｈ

ｂａｓｅｄ

ｍｏｒｅｏｎｕｎｅｖｅｎｃｌａｓｓｓｉｚｅｓａｒｅｕｓｅｄ，ｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｒｅｓｕｌｔｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｉｓｕｎｄｅｓｉｒａｂｌｙｂｉａｓｅｄｔｏｗａｒｄｓｔｈｅｃｌａｓｓｗｉｔｈｓａｍｐｌｅｓｉｚｅ，ｔｈｅｓｍａｌｌｅｒｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｅｒｒｏｒ，ｗｈｅｒｅａｓｔｈｅｓｍａｌｌｅｒｔｈｅｓａｍｐｌｅｓｉｚｅ，ｔｈｅｌａｒｇｅｒｓａｙ，ｔｈｅｌａｒｇｅｒｔｈｅｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｅｒｒｏｒ．Ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓｗｅｉｇｈｔｅｄｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅａｌｇｏｒｉｔｈｍｓｂａｓｅｄｏｎｓａｍｐｌｅｓｉｎｔｈｅｔｒａｉｎｉｎｇｓｅｔ．Ｔｈａｔｉｓｔｏｔｈｅａｎａｌｙｓｉｓｏｆｔｈｅｃａｕｓｅｏｆｓｕｃｈｐｒｏｂｌｅｍ，ａｎｄｔｈｉｓ

ｖｅｃｔｏｒｍａｃｈｉｎｅａｌｇｏｒｉｔｈｍｏｖｅｒｃｏｍｅｓｔｈｅｄｒａｗｂａｃｋｗｈｉｃｈｓｔａｎｄａｒｄｓｕｐｐｏｒｔ

ａｌｇｏｒｉｔｈｍＣａｎ’ｔｄｅａｌ、讲ｔｈｅａｃｈｓａｍｐｌｅｆｌｅｘｉｂｌｙａｎｄｃｏｍｐｅｎｓａｔｅｓｆｏｒｔｈｅ

ｓｕｐｐｏｒｔｖｅｃｔｏｒｕｎｆａｖｏｒａｂｌｅｉｍｐａｃｔｃａｕｓｅｄｂｙｔｈｉｓｂｉａｓ．Ｓｕｃｈｗｅｉｇｈｔｅｄ

ｍａｃｈｉｎｅｓｉｍｐｒｏｖｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｙｆｏｒｃｌａｓｓｗｉｔｈｓｍａｌｌｓｉｚｅａｔｔｈｅｃｏｓｔｏｆａｃｃｕｒａｃｙｒｅｄｕｃｔｉｏｎｆｏｒｌａｒｇｅｓｉｚｅｃｌａｓｓ，ａｎｄＣａｎｂｅａｐｐｌｉｅｄ

ａｓｔｏｔｈｅｃａｓｅｏｆｒｅｇａｒｄｉｎｇｓｍａｌｌｓｏｒｔｏｆｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｙｓｕｃｈｆａｕｌｔｄｉａｇｎｏｓｉｓ．

（４）Ａｎｅｗｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄ

ｐｒｅｓｅｎｔｅｄｉｎｔｈｉｓｐａｐｅｒ，ｂａｓｅｄｎａｍｅｄＲｏｕｇｈＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅｉｓｏｎｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅａｎｄｒｏｕｇｈｓｅｔｔｈｅｏｒｙ．Ｔｈｉｓｍｅｔｈｏｄｈａｓｈｉｇｈｐｒｅｄｉｃｔｉｖｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｙｗｉｔｌｌｍｕｃｈｌｅｓｓａｔｔｒｉｂｕｔｅｓ，ｗｈｉｃｈｍｅａｌｌＳｌｅｓｓｓｅｎｓｏｒｓａｎｄｌｅｓｓｃｏｓｔ．Ａｎｄｉｔｋｅｅｐｓｃｅｒｔａｉｎｒｅｄｕｎｄａｎｔａｔｔｒｉｂｕｔｅｓｔｏｈａｖｅｈｉｇｈ

ａｓｐｒｅｄｉｃｔｉｖｅａｃｃｕｒａｃｙｉｎｔｈｅｃａｓｅｏｆｍｉｓｓｉｎｇｓｅｎｓｏｒｓｉｎｆｏｒｍａｔｉｏｎｃａｕｓｅｄｂｙｓｕｃｈｆａｕｌｔ．Ｂｙｇｏｏｄｐｅｒｆｏｒｍａｎｃｅｓｏｆ

ｓｕｐｐｏａｖｅｃｔｏｒｍａｃｈｉｎｅ，ｔｈｉｓｍｅｔｈｏｄｉｎｃｒｅａｓｅｓｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｙｗｉｔｈｇｏｏｄｇｅｎｅｒａｌｉｚａｔｉｏｎｐｅｒｆｏ …… 此处隐藏：2209字，全部文档内容请下载后查看。喜欢就下载吧 ……