非参数估计(完整)

非参数估计PPT

非参数估计刘芳， 刘芳，戚玉涛 qi_yutao@http://www.77cn.com.cn

非参数估计PPT

引言参数化估计： 方法和 方法和Bayesian估计。假设概率 估计。 参数化估计：ML方法和 估计 密度形式已知。 密度形式已知。 实际中概率密度形式往往未知。 实际中概率密度形式往往未知。 实际中概率密度往往是多模的， 实际中概率密度往往是多模的，即有多个局部极大 值。 实际中样本维数较高， 实际中样本维数较高，且关于高维密度函数可以表 示成一些低维密度函数乘积的假设通常也不成立。 示成一些低维密度函数乘积的假设通常也不成立。 本章介绍非参数密度估计方法： 本章介绍非参数密度估计方法：能处理任意的概率 分布，而不必假设密度函数的形式已知。 分布，而不必假设密度函数的形式已知。

非参数估计PPT

主要内容概率密度估计 Parzen窗估计 窗估计 k-NN估计 估计 最近邻分类器( ) 最近邻分类器(NN) k-近邻分类器(k-NN) 近邻分类器( 近邻分类器 )

非参数估计PPT

概率密度估计概率密度估计问题： 概率密度估计问题：给定i.i.d.样本集： X = {x1 , x 2 ,L , xl } 样本集： 给定 样本集 估计概率分布： 估计概率分布：p (x)

非参数估计PPT

概率密度估计直方图方法： 直方图方法：非参数概率密度估计的最简单 方法1. 把x的每个分量分成k 个等间隔小窗， x的每个分量分成 个等间隔小窗， 的每个分量分成k 则形成k 个小舱) ( x∈Ed ,则形成 d 个小舱) ∈ 2. 统计落入各个小舱内的样本数 i 统计落入各个小舱内的样本数q 3. 相应小舱的概率密度为： qi /(NV ) 相应小舱的概率密度为： 总数， 小舱体积) ( N :样本 总数，V :小舱体积)

非参数估计PPT

概率密度估计直方图的例子

非参数估计PPT

概率密度估计非参数概率密度估计的核心思路：

一个向量x落在区域 中的概率 一个向量 落在区域R中的概率 为： P = ∫ p ( x )dx 落在区域 中的概率P为R

因此，可以通过统计概率 来估计概率密度函数 来估计概率密度函数p(x) 因此，可以通过统计概率P来估计概率密度函数

非参数估计PPT

概率密度估计假设N个样本的集合 假设 个样本的集合 是根据概率密度 函数为p(x)的分布独立抽取得到的。 的分布独立抽取得到的。 函数为 的分布独立抽取得到的 那么，有k个样本落在区域 中的概率服从二项式 那么， 个样本落在区域R中的概率服从二项式 个样本落在区域 定理： 定理： N N kPk = P k (1 P ) k

k 的期望值为： E [ k ] = NP 的期望值为： 的估计： 对P的估计： 的估计 = k P N当 N → ∞ 时， 估计是非 常精确的

非参数估计PPT

概率密度估计假设p(x)是连续的，且R足够小使得 是连续的， 足够小使得p(x)在R内几乎 假设 是连续的 足够小使得 在 内几乎 没有变化。 没有变化。

是包含样本点x的一个区域 令R是包含样本点 的一个区域，其体积为 ，设有 是包含样本点 的一个区域，其体积为V, N个训练样本 其中有k落在区域 N个训练样本，其中有k落在区域R中，则可对概率 个训练样本， 落在区域R中 密度作出一个估计： 密度作出一个估计： = k P P = ∫ p ( x )dx = p ( x ) V N Rk/N p (x) = V对p(x) 在小区域内的平均值的估计

非参数估计PPT

概率密度估计当样本数量N固定时，体积 的大小对估计的 当样本数量 固定时，体积V的大小对估计的 固定时 效果影响很大。 效果影响很大。过大则平滑过多，不够精确； 过大则平滑过多，不够精确； 过小则可能导致在此区域内无样本点， 过小则可能导致在此区域内无样本点，k=0。 。

此方法的有效性取决于样本数量的多少， 此方法的有效性取决于样本数量的多少，以 及区域体积选择的合适。 及区域体积选择的合适。

非参数估计PPT

概率密度估计收敛性问题：样本数量 无穷大是 无穷大是， 收敛性问题：样本数量N无穷大是，估计的概率函 数是否收敛到真实值？ 数是否收敛到真实值？N →∞

lim pN ( x ) = p ( x )

实际中， 越精确，要求： 实际中，p ( x ) 越精确，要求： R → 0 实际中， 是有限的 是有限的： 实际中，N是有限的： 绝大部分区间没有样本： 当 R → 0 时，绝大部分区间没有样本： p ( x ) = 0 如果侥幸存在一个样本， 如果侥幸存在一个样本，则： p ( x ) = ∞

非参数估计PPT

概率密度估计理论结果： 理论结果：设有一系列包含x 的区域R1, , 设有一系列包含 的区域 ，R2,…,Rn,…,对 ， R1采用 个样本进行估计，对R2用2 个，…, Rn 采用1个样本进行估计 采用 个样本进行估计， 用 ， 包含kn个样本 个样本。 为 的体积 的体积。 包含 个样本。Vn为Rn的体积。

kn / N pn ( x ) = Vn的第n次估计 为p(x)的第 次估计 的第

非参数估计PPT

概率密度估计能够收敛到p(x),那么必须满足： ,那么必须满足： 如果要求 pn ( x ) 能够收敛到n →∞

lim Vn = 0

n →∞

lim kn = ∞

lim kn / n = 0n →∞

选择V 选择 n

选择k 选择 n

非参数估计PPT

概率密度估计两种选择方法： 两种选择方法：

非参数估计PPT

主要内容概率密度估计 Parzen窗估计 窗估计 k-NN估计 估计 最近邻分类器( ) 最近邻分类器(NN) k-近邻分类器(k-NN) 近邻分类器( 近邻分类器 )

非参数估计PPT

Parzen窗估计定义窗函数：假设 是一个d维的超立方体 维的超立方体。 定义窗函数：假设Rn是一个 维的超立方体。令hn 为超立方体一条边的长度，则体积： 为超立方体一条边的长度，则体积： Vn = hnd 立方体窗函数为： 立方体窗函数为： 1 (u) = 0 1 u j ≤ , j = 1,L , d 2 otherwise

中心在原点的 单位超立方体