[工学]03概率密度估计.pptVIP

* * * * * * * 上式表明, 概率P是密度函数p(x)的一种平均形式, 对P的估计就是估计出p(x)的这个平均值。  　　假设x1, x2, …, xN是N个独立抽取的样本, 其概率密度函数为p(x)。 N个样本中有k个属于Ω区域的概率为 非参数估计的基本原理 　设样本x的概率密度函数为p(x), 则x属于区域Ω的概率P为 其中， 。k为一个随机量，k的数学期望为： 　　k的分布在其均值附近有一个陡峭的峰, 可以认为 k/N 是P的一个很好的估计, 也是概率密度函数平均值的一个好的估计。  　　进一步假设p(x)是连续的, 并且Ω的范围很小, 以至于p(x)在Ω上几乎是不变的, 那么,  其中, x是Ω中的一个点, V是Ω的“体积”。  综合上述分析, p(x)的估计为 如果固定Ω, 即体积V固定, 样本数N→∞, 则k/N→P, 此时,  得到的是概率密度函数p(x)的空间平均估计值。  　　要想得到概率密度函数p(x), 而不是p(x)的空间平均估计值, 就需要让Ω的体积V趋近于0。 若把样本数N固定, 令V趋于0, 以至于Ω不包含任何样本, 此时, p(x)≈0, 这种估计是没有意义的; 或者恰有一个或几个样本同x重合, 此时, p(x)为无穷大, 同样也没有意义。 　　事实上, 样本数目总是有限的, 从而要求体积不能任意小, 因此, 所得到的密度函数估计结果还是一定范围内的平均值。 　为了估计x点处的密度, 构造一个包含x的区域序列Ω1, Ω2, …。 假设N时刻的样本数为N, ΩN的体积为VN,ΩN中的样本数为 kN, 则p(x)的估计pN(x)为 如果满足以下三个条件:  那么, pN(x)收敛于p(x)。  　　上述三个条件表明: 当N增大时, ΩN中的样本数也增加; VN不断减少, 以使pN(x)趋于p(x); 尽管在区域ΩN中落入了大量的样本, 但与样本总数相比, 还是可以忽略的。  满足上述三个条件的区域序列主要有两种选择方法:  (1) Parzen窗法。 选定一个中心在x处的区域ΩN, 其体积为VN(例如　　　　, 然后计算落入其中的样本数kN, 用来估计局部密度pN(x)的值。  (2) kN近邻法。 选定一个kN值(例如　　　　), 以x为中心构造一个区域ΩN, 其体积为VN, 使ΩN恰好包含kN个样本, 这时的体积VN用来估计pN(x)。  3.4.2 Parzen窗法 样本集KN= {x1, x2,…, xN} 区域RN是一个d维超立方体，棱长hN，体积VN= hNd 定义窗核函数： 落入超立方体内样本数kN ： 某点概率密度p(x)的估计 计数函数 核函数的选择 核函数需满足归一化条件： 两种常用的核函数： 均匀核(方窗)： 正态核(高斯窗)： 窗宽的选择 hN是控制“窗”宽度的参数，根据样本的数量选择。 太大：平均化，分辨力低 太小：统计变动大 不同窗宽的估计效果 Parzen窗法示例1 估计单一正态分布 N=∞ N=256 N=16 N=1 Parzen窗法示例2 估计两个均匀分布 N=∞ N=256 N=16 N=1 3.4.3 kN-近邻法 均匀核函数Parzen窗估计，窗宽固定，不同位置落在窗内的样本点的数目是变化的。 kN-近邻估计：把窗扩大到刚好覆盖kN个点。落在窗内的样本点的数目固定，窗宽是变化的。kN根据样本总数N选择。 概率密度估计表达式： 点x处窗的“体积”是Vn 收敛条件 经验值 3.5 分类器错误率的估计 在处理实际问题时，更多的是利用样本来估计错误率。 对于已设计好的分类器，利用样本来估计错误率。Test Dataset。 对于未设计好的分类器，需将样本分成两部分(Train Dataset和Test Dataset)。 已设计好的分类器的错误率估计 错误率的估计：错分样本数/总样本数 这是错误率的最大似然估计。错分样本数k是随机变量，服从二项式分布。 错误率估计的统计性质 是真实错误率的无偏估计 测试样本数越多，估计越有效，估计的置信区间越小。 未设计好的分类器的错误率估计 需要把样本集分为训练集和测试集 C-法：利用N个样本设计，也利用这N个样本测试。得到乐观估计。 U-法：把样本集分为训练集和测试集。得到保守估计。 样本划分法：样本数需要比较多，测试样本数越多越有效。 留一法：样本较少时，N-1个样本设计，另一样本测试，遍历N个样本。假设错分样本数为K，则错误率估计为： 概率密度函数包含了随机变量的全部信息，是导致估计困难的重要原因。 高维概率分布的估计无论在理论上还是实际操作中都是一个十分困难的问题。 进行模式识别并不需要利用概率密度的所有信息，只需要求出分类