概率密度函数的非参数估计.pptVIP

第四章 概率密度函数的非参数估计 4.1 基本思想 4.1 基本思想 令R是包含样本点x的一个区域，其体积为V，设有n个训练样本，其中有k个落在区域R中，则可对概率密度作出一个估计： 有效性 当n固定时，V的大小对估计的效果影响很大，过大则平滑过多，不够精确；过小则可能导致在此区域内无样本点，k=0。 此方法的有效性取决于样本数量的多少，以及区域体积选择的合适。 收敛性 构造一系列包含x的区域R1, R2, …，对应n=1,2,…，则对p(x)有一系列的估计： 区域选定的两个途径 Parzen窗法：区域体积V是样本数n的函数，如： Parzen窗法和K-近邻法 4.2 Parzen窗方法 定义窗函数 1维数据的窗函数 概率密度函数的估计 超立方体中的样本数： 概率密度估计： 窗函数的要求 上述过程是一个内插过程，样本xi距离x越近，对概率密度估计的贡献越大，越远贡献越小。 只要满足如下条件，就可以作为窗函数： 窗函数的形式 窗函数的宽度对估计的影响 hn称为窗的宽度 窗函数的宽度对估计的影响 识别方法 保存每个类别所有的训练样本； 选择窗函数的形式，根据训练样本数n选择窗函数的h宽度； 识别时，利用每个类别的训练样本计算待识别样本x的类条件概率密度： 采用Bayes判别准则进行分类。 Parzen窗的神经网络实现 神经元模型 简化神经元模型 Parzen窗函数的神经