概率密度函数的非参数估计.pptxVIP

第四章概率密度函数的非参数估计

4.1基本思想

令R是包含样本点x的一个区域，其体积为V，设有n个训练样本，其中有k个落在区域R中，则可对概率密度作出一个估计：相当于用R区域内的平均性质来作为一点x的估计，是一种数据的平滑。4.1基本思想

当n固定时，V的大小对估计的效果影响很大，过大则平滑过多，不够精确；过小则可能导致在此区域内无样本点，k=0。01此方法的有效性取决于样本数量的多少，以及区域体积选择的合适。02有效性

构造一系列包含x的区域R1,R2,…，对应n=1,2,…，则对p(x)有一系列的估计：当满足下列条件时，pn(x)收敛于p(x)：0102收敛性

Parzen窗法：区域体积V是样本数n的函数，如：K-近邻法：落在区域内的样本数k是总样本数n的函数，如：0102区域选定的两个途径

Parzen窗法和K-近邻法

4.2Parzen窗方法定义窗函数

1维数据的窗函数

超立方体中的样本数：01概率密度估计：02概率密度函数的估计

上述过程是一个内插过程，样本xi距离x越近，对概率密度估计的贡献越大，越远贡献越小。只要满足如下条件，就可以作为窗函数：0102窗函数的要求

窗函数的形式

窗函数的宽度对估计的影响hn称为窗的宽度

窗函数的宽度对估计的影响

03识别时，利用每个类别的训练样本计算待识别样本x的类条件概率密度：02选择窗函数的形式，根据训练样本数n选择