基于支持向量机的概率密度估计及其在分布估计算法中的应用(4)

经验风险最小化原则处理的大样本数问题。如果样本数较少，则不能保证经验风险值可以较好的逼近实际风险的值。为了解决经验风险的这个缺点，下面给出结构风险最小化（ＳＲＭ）归纳原则。这一原则的目的是针对经验风险和置信范围这两项来最小化风险泛函。设函数Ｑ（ｚ，ａ），ａ∈人的集合Ｓ具有一定的结构，这一结构是由一系列嵌套的函数子集Ｓｋ＝｛Ｑ（ｚ，ａ），ａ∈人。）组成的，它们满足：

Ｓｃ＆ｃ…ｃ最…

其中结构的元素满足下面的性质：（２－１０）

（１）每个函数集瓯＠ｖｃ维玩是有限的，因此，曩≤吃≤…≤吃…。

（２）结构的的任何元素Ｓ或者包含一个完全有界函数的集合：

０≤Ｑ（ｚ，ａ）≤坟，ａ∈人女

或者包含对一定的（ｐ，ｆ。）满足下列不等式的函数集合；

ａｅＡｌｋｓｕｐ—（Ｉ下Ｑｐ—（ｚ，—ｏ［）—ｄＦ－（ｚ）ｌｉｐ≤ｆ女，．＞一（２－１）ＰＳＵｐ——１ｒ—————————一Ｓｆ＂‘Ｌ．＞２ＩＱ（ｚ，ａ）ｄＦ（ｚ）

这一结构称为容许结构［１１。

对一个给定的观测集ｚＩ，…，ｚ，，结构风险最小化原则在保证风险最小的子集瓯中选择使经验最小的函数Ｑ（ｚ，口ｊ）。结构风险最小化原则就是在对给定数据逼近的精度和逼近函数的复杂性之间取得的一种折衷。随着自己序号ｎ的增加，经验风险

概率密度分布相关文献,学习交流所用。

基丁．支持向量机的概率密度估计及其在分布估计算法中的应用

的最小值减小，但决定置信范围的项却增加（图）。结构风险最小化原则通过选择子集Ｓ将这两者考虑在内，子集Ｓ的选择是使得在这个子集中，最小化经验风险会得到实际风险的最好的界。

图２—２风险的界

Ｆｉｇｕｒｅ２－２ｔｈｅｂｏｕｎｄｏｆｒｉｓｋ

风险的界是经验风险与置信范围之和。随着结构元素序号的增加，经验风险将减小，而置信范围将增加。最小的风险上界是在结构的某个适当的元素上取得。２．１．５学习过程的一致性

学习过程的的一致性解决的问题是经验风险最小化的学习过程在什么时候能够取得小的实际风险，而什么时候不能取得小的实际风险。

定义‘１１：设（五，ｙ１），…，（而，乃）是按照概率分布ｒ（ｘ，ｙ）得到的一系列独立同分布的样本点，ｆｉｘ，ａ，）是Ｆ中使经验风险

１，

‰＝号∑Ｌ（ｙｉ，ｆ（ｘｉ口））‘Ｉ＝ｌ（２—１２）

最小化的函数。若对Ｖ￡＞０，有

ｊｉｍｐ｛Ｒ（ｆ（ｘ，ａ，））一ｉ蜓Ｒ（ｆ（ｘ，ａ））＞ｓ｝＝０，－－－｝ｏＯ，Ｅ，（２－１３）

（２－１４）｛ｉｍｐ｛Ｒｅ．ｒ（ｆ（ｘ，ａｆ））一骥Ｒ（ｆ（ｘ，ａ））＞￡）＝０，—÷∞，∈，

即两个序列依概率收敛于同一极限，则结构风险最小化原则对函数集Ｌ（ｙ，ｆ（ｘ，口）），

概率密度分布相关文献,学习交流所用。

第一二章统计学习的基本理论

ａ∈人和概率分布函数Ｆ（ｘ，ｙ）是一致的（如图２．１．３所示）。

图２－３期望风险和经验风险的一致性

Ｆｉｇｕｒｅ２—３ｔｈｅｃｏｎｓｉｓｔｅｎｃｙｏｆｅｘｐｅｃｔｅｄａｎｄｅｍｐｉｒｉｃａｌｒｉｓｋ

经验风险最小化方法构造了一个函数列Ｌ（ｙ，ｆ（ｘ，ａ，）），，＝１，２，…，对这个序列来说若期望风险收敛到最小可能的风险值和经验风险收敛到最小可能的风险值相同，则这个经验风险最小化方法是一致的，这时就可以用经验风险来代替期望风险。定义【ｌ】：函数集Ｑ（ｚ，ａ），ａ∈人，定义其子集Ａ（ｃ）如下：

Ａ（ｃ）＝｛口：ｌＱ（ｚ，ａ）ｄＦ（ｚ）＞Ｇａ∈人）。

如果对函数集的任意非空子集人（ｃ），ｃ∈－ｏｏ，＋∞）都有

Ｐ

。味）Ｒ唧（口）未。骤）尺（ａ）（２－１５）

成立，则经验最小化方法对函数集Ｑ（ｚ，口），口∈人和概率分布是平凡一致的。也就是说经验最小化方法把函数集中取得风险最小值的函数去掉后仍能够满足（２—１５）式收敛，则这个经验风险最小化方法是非平凡一致。

２．２核函数特征空间

对于一系列的训练样本点（（五，Ｙ１），…，（为，Ｙ，），一可以是向量，扛１，…，，）是线性不可分的，可以使用非线性的方法把这些样本点映射到一个高维特征空间中，使得这些样本点在此特征空间中的映射点是线性可分的。而这种非线性映射方法却有两

概率密度分布相关文献,学习交流所用。

基于支持向量机的概率密度估计及其在分布估计算法中的应用

个缺点：一是特征空间的维数很高，将训练样本分开的超平面不一定能够很好的推广；二是如果要在一个２００维的空间中构造一个４或５阶的多项式，需要构造一个上十亿维的特征空间，即产生为维数灾难１１１。用核函数来构造的非线性映射就可以解决这些问题。

２．２．１特征空间中的学习

目标函数的表达方式决定了学习的目标函数的复杂度，学习任务的难度也随着目标函数的复杂度的增加而增高。根据学习问题的不同，可以选择与之相匹配的表示方法。即可以对训练集进行预处理将其映射到一个新的空间：

ｘ＝（ｘｌ，…，Ｘｎ）—争妒（ｘ）＝（≯（ｘ１），…，妒（ｘ。））（２－１６）

常用方法是寻找原始数据中包含的必要信息的最小特征集，这就是所谓的维数约简。主成分分析提供了一种将数据映射到特征空间的方法，它将原始数据进行线性组合，并将数据在每个特征方向的方差按大小进行排序。维数约简可能会忽略那些方差很小的方向上的数据。

当使用线性学习器去学习一个非线性关系时，就需要寻找一个非线性特征集，然后将原始数据的表达式转化为非线性关系对应的形式。这个过程也就是应用一个固定的非线性映射将原始数据映射到一个特征空间中，在这个特征空间中使用线性学习器。下面是一个简单学习函数的实例：

．Ⅳ

／（ｘ）＝∑ｗ谚（ｘ）＋６＝＜ｗ ｘ＞＋６＃ｌ（２—１７）

在（２－１７）式中咖：ｘ专Ｆ是从原始输入空ｆ日－ＪＮ某个特征空间的映射。这个过程中建立的非线性学习器可分为两部分：先通过非线性映射将原始数据映射到一个特征空间Ｆ，然后在这个特征空间采用线性学习器对训练样本进行分类。

线性学习器的表达式还具有对偶性质，可以使用训练点与测试点的内积来表示决策函数：

，

厂（ｘ）＝∑ａ，Ｙ脚（一） ≯（ｘ））＋６

ｔ＝ｌ（２—１８）

若在特征空间中可以直接计算出内积＜妒（ｘ，）舻（ｘ）＞的值，就可以将两步结合起来建立一个非线性的学习器。这种计算方法被称为核函数法。

定义１２７１：核是一个函数Ｋ，对所有ｘ，Ｚ∈Ｘ，满足：

概率密度分布相关文献,学习交流所用。

第二章统计学习的基本理论

Ｋ（ｘｊｚ）＝（咖（ｘ） 咖（：））

这里咖是从Ｘ到（内积）特征空间Ｆ的映射。

核函数［２７１的使用可以将原始空间隐函表达为特征空间，并使得在这个特征空间中可以训练线性学习器，而不需要计算原始数据到特征映射的问题。关于训练样本的唯一信息是它们在特征空『白ｊ的Ｇｒａｍ矩阵１２７］，这个矩阵又称为核矩阵。这个方法的关键是找到一个可以高效计算的核函数。

２．２．２核函数的构造

要使用核函数，从定义上来看首先要创建一个与原始数据对应的复杂的特征空间，然后在这个特征空间中计算内积并寻找 …… 此处隐藏：1353字，全部文档内容请下载后查看。喜欢就下载吧 ……