基于支持向量机的概率密度估计及其在分布估计算法中的应用

概率密度分布相关文献,学习交流所用。

太原科技大学

硕士学位论文

基于支持向量机的概率密度估计及其在分布估计算法中的应用

姓名：徐玉兵

申请学位级别：硕士

专业：计算机应用技术

指导教师：谭瑛

20090701

概率密度分布相关文献,学习交流所用。

中文摘要

概率密度的估计既是传统的概率论与数理统计的重点，也是统计学习理论的重要研究内容。概率密度的估计具有广泛的应用，它不仅是信息熵理论的基础，还可以应用到音频及视频信号的无损压缩中。但实际应用中，概率密度服从的分布通常是未知的。我们可以得到的数据是由这些未知分布产生的样本点，可以用这些样本点对实际的概率密度进行估计预测。对概率密度的估计一般分为参数估计和非参数估计。参数估计是在知道样本点服从的分布的前提下对密度中的未知参数进行估计，它的准确性对分布函数具有强烈依赖性。此外，参数估计还具有其他的一些局限性。例如对高斯分布可以很好的估计未知参数，但对混合高斯分布的密度就得不到很好的结果。基于支持向量机的概率密度不仅能够解决以往估计基于大数样本的问题，而且克服了参数估计的局限性。

本文在统计学习理论和支持向量机的基础上，对一维基于支持向量机的概率密度估计进行扩展并结合不敏感损失函数的方法，求得仿真效果较好的二维概率密度。此外，还讨论了高维密度的求解模型。然后针对现在的分布估计算法的概率密度大多是基于高斯模型，而实际应用中样本的概率密度可能是任意的情况，本文将支持向量机求解并仿真测试过的概率密度应用到分布估计算法中。在分布估计算法中与支持向量机求解的概率密度相对应，本文将舍选法的维数进行扩展，并针对求得的概率密度可能存在局部最优值，对舍选法的上界条件进行调整。最后将二维情况下的基于支持向量机的分布估计算法的测试结果与相同情况下的标准微粒群算法进行了比较。关键词：参数估计；大数样本；小样本：统计学习理论；支持向量机；舍选法

概率密度分布相关文献,学习交流所用。

ＡＢＳＴＲＡＣＴ

Ｐｒｏｂａｂｉｌｉｔｙｄｅｎｓｉｔｙｅｓｔｉｍａｔｉｏｎｉｓｔｈｅｆｏｃｕｓｏｆｔｈｅｔｒａｄｉｔｉｏｎａｌｐｒｏｂａｂｉｌｉｔｙｔｈｅｏｒｙａｎｄｍａｔｈｅｍａｔｉｃａｌｓｔａｔｉｓｔｉｃｓ．ＩｔｉＳａｌｓｏａｎｉｍｐｏｒｔａｎｔｒｅｓｅａｒｃｈ

ａｏｆｓｔａｔｉｓｔｉｃａｌｌｅａｒｎｉｎｇｔｈｅｏｒｙ．Ｔｈｅｅｓｔｉｍａｔｉｏｎｏｆｐｒｏｂａｂｉｌｉｔｙｄｅｎｓｉｔｙｈａｓｗｉｄｅ

ｒａｎｇｅｏｆａｐｐｌｉｃａｔｉｏｎｓ．Ｉｔｉｓｔｈｅｂａｓｉｓｏｆｉｎｆｏｒｍａｔｉｏｎｅｎｔｒｏｐｙｔｈｅｏｒｙａｎｄｉｔｉｓａｐｐｌｉｅｄｔｏｔｈｅｌｏｓｓｌｅｓｓｃｏｍｐｒｅｓｓｉｏｎｏｆａｕｄｉｏａｎｄｖｉｄｅｏｓｉｇｎａｌｓｔｏｏ．ｎｅ

ｃａｎｄｉｓｔｒｉｂｕｔｉｏｎｏｆｔｈｅｐｒｏｂａｂｉｌｉｔｙｄｅｎｓｉｔｙｉｓｕｓｕａｌｌｙｕｎｋｎｏｗｎ，ｂｕｔｔｈｅｄｅｎｓｉｔｙ

ｂｅｅｓｔｉｍａｔｅｄｂｙｔｈｅｓａｍｐｌｅｐｏｉｎｔｓｗｈｉｃｈａｒｅｆｒｏｍｔｈｅｕｎｋｎｏｗｎｄｉｓｔｒｉｂｕｔｉｏｎ．Ｄｅｎｓｉｔｙｅｓｔｉｍａｔｉｏｎｉｓｇｅｎｅｒａｌｌｙｄｉｖｉｄｅｄｉｎｔｏｐａｒａｍｅｔｅｒａｎｄｎｏｎ－ｐａｒａｍｅｔｅｒ．Ｐａｒａｍｅｔｅｒｅｓｔｉｍａｔｉｏｎｃａｃｕｌａｔｅｓｔｈｅｕｎｋｎｏｗｎｐａｒａｍｅｔｅｒｓｏｆｔｈｅｄｅｎｓｉｔｙｗｈｅｎｔｈｅｄｉｓｔｒｉｂｕｔｉｏｎｏｆｔｈｅｓａｍｐｌｅｐｏｉｎｔｓｉｓｋｎｏｗｎ．Ｉｔｈａｓａｓｔｒｏｎｇｄｅｐｅｎｄｅｎｃｅｏｎｔｈｅａｃｃｕｒａｃｙｏｆｔｈｅｄｉｓｔｒｉｂｕｔｉｏｎｆｕｎｃｔｉｏｎ．Ｆｕｒｔｈｅｒｍｏｒｅ，ｐａｒａｍｅｔｅｒｅｓｔｉｍａｔｉｏｎａｌｓｏｈａｓｓｏｍｅｏｔｈｅｒｌｉｍｉｔａｔｉｏｎｓ．Ｓｕｃｈ

ｐａｒａｍｅｔｅｒｓｃａｎａｓＧａｕｓｓｉａｎｄｉｓｔｒｉｂｕｔｉｏｎｏｆｕｎｋｎｏｗｎｎｏｔｇｅｔ

ｏｎｂｅｅｓｔｉｍａｔｅｄ，ｂｕｔｉｔｃａｎｇｏｏｄｒｅｓｕｌｔｓｏｆｍｉｘｅｄＧａｕｓｓｉａｎｄｅｎｓｉｔｙ．Ｔｈｅｐｒｏｂａｂｉｌｉｔｙｄｅｎｓｉｔｙｂａｓｅｄ

ｎｏｔｏｎｌｙｓｏｌｖｅｓｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｏｎｔｈｅｐｒｏｂｌｅｍｔｈａｔｔｈｅｔｒａｄｉｔｉｏｎａｌｅｓｔｉｍａｔｉｏｎｉｓｂａｓｅｄｔｈｅｓａｍｐｌｅｓｏｆｌａｒｇｅｎｕｍｂｅｒｂｕｔａｌｓｏｏｖｅｒｃｏｍｅｓｔｈｅｌｉｍｉｔａｔｉｏｎｓｏｆｐａｒａｍｅｔｅｒｅｓｔｉｍａｔｉｏｎ．

ＴｈｉｓｐａｐｅｒｃｏｍｂｉｎｅｄｗｉｔｈｔｈｅｉｎｓｅｎｓｉｔｉｖｅｌＯＳＳ

ｏｎｆｕｎｃｔｉｏｎｅｘｔｅｎｄｓｔｈｅｏｎｅ－ｄｉｍｅｎｓｉｏｎａｌｐｒｏｂａｂｉｌｉｔｙｄｅｎｓｉｔｙｂａｓｅｄｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｓｔｏ

ｔｗｏ‘ｄｉｍｅｎｓｉｏｎａｌａｎｄｈａｓａｓｉｍｕｌａｔｉｏｎｔｅｓｔｏｆｔｈｅｒｅｓｕｌｔｓ．Ｆｕｒｔｈｅｒｍｏｒｅ，ｉｔｄｉｓｃｕｓｓｅｓｔｈｅｍｏｄｅｌｏｆｈｉｇｈ－ｄｉｍｅｎｓｉｏｎａｌｄｅｎｓｉｔｙ．Ｎｏｗｔｈｅｅｓｔｉｍａｔｉｏｎｏｆ

ｔｈｅＧａｕｓｓｉａｎｍｏｄｅｌ，ｗｈｉｌｅｔｈｅｐｒｏｂａｂｉｌｉｔｙｄｅｎｓｉｔｙａｌｇｏｒｉｔｈｍｓａｒｅｂａｓｅｄｏｎ

ａｃｔｕａｌｄｉｓｔｒｉｂｕｔｉｏｎｏｆｐｒｏｂａｂｉｌｉｔｙｄｅｎｓｉｔｙｍａｙｂｅｒａｎｄｏｍ．ＴｈｅｄｅｎｓｉｔｙｔｈａｔｉｓｓｏｌｖｅｄｂｙＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅａｎｄｔｅｓｔｅｄｉｓａｐｐｌｉｅｄｔｏｔｈｅｅｓｔｉｍａｔｉｏｎｏｆ

ｏｎｄｉｓｔｒｉｂｕｔｉｏｎａｌｇｏｒｉｔｈｍ．Ｉｎｔｈｅｅｓｔｉｍａｔｉｏｎｏｆｄｉｓｔｒｉｂｕｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄ

ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｓｏｌｕｔｉｏｎｃｏｒｒｅｓｐｏｎｄｓｔｏｔｈｅｐｒｏｂａｂｉｌｉｔｙｄｅｎｓｉｔｙ，ｔｈｉｓｐａｐｅｒｈａｓｅｘｔｅｎｄｅｄｔｈｅｄｉｍｅｎｓｉｏｎｏｆａｃｃｅｐｔａｎｃｅ—ｒｅｊｅｃｔｉｏｎｍｅｔｈｏｄａｎｄａｄｊｕｓｔｔｈｅｕｐｐｅｒｂｏｕｎｄｏｆｔｈｅｐｒｏｂａｂｉｌｉｔｙｄｅｎｓｉｔｙｔｈａｔｍａｙｅｘｉｓｔｌｏｃａｌｏｐｔｉｍｉｚａｔｉｏｎ

概率密度分布相关文献,学习交流所用。

ｖａｌｕｅ．Ｆｉｎａｌｌｙ，ｔｈｅｔｗｏ—ｄｉｍｅｎｓｉｏｎａｌｅｓｔｉｍａｔｉｏｎｏｆｄｉｓｔｒｉｂｕｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｉｓｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｓｔａｎｄａｒｄＰＳＯａｌｇｏｒｉｔｈｍｉｎｔｈｅｓａｍｅｃｏｎｄｉｔｉｏｎ．

Ｋｅｙｗｏｒｄｓ：Ｐａｒａｍｅｔｅｒｅｓｔｉｍａｔｉｏｎ；Ｌａｒｇｅｎｕｍｂｅｒｓｓａｍｐｌｅｓ；Ｓｍａｌｌｓａｍｐｌｅｓ；Ｓｔａｔｉｓｔｉｃａｌｌｅａｒｎｉｎｇｔｈｅｏｒｙ；Ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ；Ａｃｃｅｐｔａｎｃｅ－ｒｅｊｅｃｔｉｏｎｍｅｔｈｏｄ

概率密度分布相关文献,学习交流所用。

声尸明

本人郑重声明： …… 此处隐藏：2559字，全部文档内容请下载后查看。喜欢就下载吧 ……