基于支持向量机的概率密度估计及其在分布估计算法中的应用(3)

概率密度分布相关文献,学习交流所用。

第二章统计学习的基本理论

第二章统计学习的基本理论

２．１学习问题和学习方法

２．１．１学习问题的基本定义和学习问题的表示

可以把学习问题看作是利用有限数量的观测样本来寻找待求的依赖关系的问题。接下来描述的是学习的一般模型【１１（图２．１）：

学习模型有产生器（Ｇ）、训练器（Ｓ）和学习器（ＬＭ）其三部分组成。产生器是从固定但类型未知的概率分布函数Ｆ（ｘ）中抽取独立随机向量ＸＥＲｎ；训练器是根据未知的分布函数由输入向量Ｘ返回一个输出值ｙ；学习机器是一系列类似函数ｆ（ｘ，ａ），ａ∈人，其中人是参数的集合。学习问题就是从函数集ｆ（ｘ，ａ），ａ∈人中选择出能够最好地逼近训练器响应的函数，训练集是由未知的分布产生的一系列的独立同分布样本点。

ｙ

图２－１学习模型

Ｆｉｇｕｒｅ２—１ｌｅａｒｎｉｎｇｍｏｄｅｌ

为了从函数集中选择对训练器最好的逼近函数，就要度量在给定输入ｘ下训练器响应Ｙ与学习机器给出的响应ｆ（ｘ，ａ）之间的损失或差异Ｌ（ｙ，ｆ（ｘ，ａ））。考虑损失函数的数学期望值：

Ｒ（ａ）＝ＩＬ（ｙ，ｆ（ｘ，））ｄＦ（ｘ，”（２—１）

这就是风险泛函。学习器学习的目标就是在训练样本服从的概率分布未知、所有可用信息都包含在训练样本中的情况下，在函数集ｆ（ｘ，ａ）（ａ∈人）中找到一个函数ｆ（ｘ，口ｏ）来使得风险泛函Ｒ（ａ）达到最小化。

学习问题主要有三种：模式识别、回归函数估计和概率密度估计。简单模式识别【１１是在训练器的输ｍｙ只有两种取值ｙ＝｛０，１｝，并令ｆ（ｘ，ａ），ａ∈人为指示函数集（指示函数是指值只取０或１的函数）的情况下考虑下面的损失函数：

概率密度分布相关文献,学习交流所用。

基于支持向量机的概率密度估计及其在分布估计算法中的应用

地舯胪譬舅主麓？ｐ２，

根据这个损失函数，风险泛函（２．１）式确定了训练器的结果与指示函数ｆ（ｘ，ａ）所给出的结果不同的概率。指示函数给出的结果与训练器输出结果不同的情况叫做分类错误，学习问题就是在概率分布Ｆ（ｘ，ｙ）未知，但由分布产生的样本点己知的情况下，寻找使分类错误的概率最小的函数。回归估计是令训练器的输出ｙ为实数值，并令ｆ（ｘ，ａ），ａ∈人为实函数集合，其中包含着回归函数

ｆ（ｘ，ａｏ）＝ｌｙｄＦ（ｙＩｘ）（２－３）

回归函数就是在损失函数

Ｌ（ｙ，ｆ（ｘ，倪））＝（ｙ－ｆ（ｘ，ａ）广（２—４）

下使风险泛函（２．１）最小化的函数。即回归估计的问题就是在概率分布Ｆ（ｘ，ｙ）未知，但由分布产生的样本点已知的情况下，对采用（２４）式损失函数的风险泛函（２—１）是最小化。概率密度估计是从密度函数集ｐ（ｘ，倪），仅∈人中估计概率密度函数的问题，这个问题考虑的损失函数是：

Ｌ（ｐ（ｘ，ａ））＝－ｌｏｇｐ（ｘ，口）（２—５）

从样本点估计密度函数的问题就是，在样本点服从的分布的概率密度未知的情况下使风险泛函最小化。

学习问题一般可以采用下面表示形式：设有定义在定义域Ｚ上的概率分布函数Ｆ（ｚ）。对损失函数的集合Ｑ（ｚ，ａ），ａ∈人，我们学习的目标是最小化风险泛函

Ｒ（ａ）＝ＩＱ（ｚ，ａ）ｄＦ（ｚ），ｇ∈Ａ．（２－６）

由于概率分布Ｆ（ｚ）未知，但是给定了一些独立同分布样本

乞，Ｚ２，…，乙（２—７）

这种问题就是在（２．７）是的基础上最小化风险泛函（２—６）式，其中Ｚ代表数据对（ｘ，ｙ）。２．１．２学习方法

现在的很多复杂问题如利用ＤＮＡ序列对蛋白质类型分类和对信用卡申请表分类等是不能用传统编程途径来解决，因为系统设计者无法精确指定从输入数据映射输出的具体函数表达式。解决这类问题的可采用的方法是让计算机从样例中学习从输入到输出的函数对应关系，就像儿奄学习辨认赛车的过程，给他们大量赛车的例子，而不是告诉他们赛车的精确规格说明。这种使用例子来合成计算机程序的过程

概率密度分布相关文献,学习交流所用。

第二章统计学习的基本理论

称为学习方法【２７１。

对于学习问题，当样本是输入和输出对的形式给出时称为监督学习。这些有关输入和输出的函数关系的样本就是训练数据。目标函数是输入到输出的内在函数。对目标函数，可以根据训练数据由学习算法进行估计来得到，这个结果就称为学习问题的解，这个估计结果在分类问题中有时被称为决策函数。假设集合或假设空间的选择问题是学习过程中的关键因素，而从训练数据中学习并从假设空间中选择假设的算法是第二个重要因素，它也称为学习算法。根据学习算法输出的结果的个数是两个和有限个可分为二类问题和多类问题，若学习算法输出的结果是实数则称为回归问题。

当学习问题的样本不包含输出时称为无监督学习，这类学习可以用来理解数据产生的过程。这种学习方法常用于概率密度估计、分布类型的学习和聚类等。还有一些学习模型考虑了学习器与其环境的复杂交互过程，在这种过程中影响学习器能力的方法被称为查询学习１２７１。

学习模型的另一方面问题是训练数据如何生成及如何输入到学习器。如批量学习和在线学习的区别在于：批量学习在一开始就把所有训练样本提供给学习器，而在线学习在学习开始时一次只接收一个训练样本，并在得到正确输出前给出自己对输出的估计。在线学习中学习器根据每个新的训练样本更新当前假设，学习器的质量由学习期间产生的总错误数量来衡量。然而学习产生的假设的质量如何衡量还不明确。早期的学习算法的主要研究是通过学习产生简单的符号表示，它由专家来理解和验证。学习器学习的目的是通过对训练样本的学习得到一个能正确分类训练集的假设并使该假设能对训练集外的样本做出正确预测，早期的学习目标也是寻找对数据的精确拟合，这样寻找到的假设称为一致假设。然而生成可验证的一致假设这一目标存在两个问题：一是待学习的目标函数可能没有简单表示，因此不能很容易地加以验证。二是训练数据通常是有噪声的，因此不能保证一个目标函数能够正确拟合训练样本集。学习器正确分类训练器之外数据的能力称为泛化性。

学习方法的优点：首先，可解决的应用问题范围很广。其次，避免了传统求解方法中复杂设计和编程，花费的代价只是收集一定数量的有输出值的数据，然后运行一个现有的算法来学习输入和输出的映射。最后，它促进了其他研究方法的发展。它同时存在着一些局限性和缺点：学习算法可能是低效的，比如出现局部最小值的情形。输出的假设规模可能大到不切实际。如果训练样本数目是有限的，则过大的假设函数类将导致过拟合及很差的泛化性。学习算法常常受到大量参数的控制，它

概率密度分布相关文献,学习交流所用。

基于支持向量机的概率密度估计及其在分布估计算法中的应用

们的选择往往是通过启发式的参数调节过程，使得系统的使用变得困难且不可靠。２．１．３ＶＣ理论

～个指示函数集Ｑ（ｚ，ａ），ａ∈人ｆｌ，勺ｖｃ维【２引，是能够被集合中的函数以所有可能的２“种方式分成两类的向量而，…，ｚ，的最大数目为ｈ（也就是能够被这个函数集打散的向量的最大数目）。如果对任意的ｒｌ，总存在ｒ１个向量的集合可以被函数集Ｑ（ｚ，Ｑ１，ａ∈人打散，那么函数集的 …… 此处隐藏：2120字，全部文档内容请下载后查看。喜欢就下载吧 ……