第3章概率密度函数的估计非参数估计.pptVIP

模 式 识 别 第3章 概率密度函数的估计 总体分布的非参数估计 前面的方法 密度函数的形式已知 存在问题 密度函数的形式常常未知 一些函数形式很难拟合实际的概率密度 经典的密度函数都是单峰的，而在许多实际情况中却是多峰的 因此用非参数估计 总体分布的非参数估计 非参数估计 处理问题 直接用已知类别样本去估计总体密度分布p(x|ωi) 需要计算p(x|ωi)的每个点的值 方法 ①?用样本直接去估计类概率密度p(x|ωi)以此来设计分类器, 如窗口估计 ②?用学习样本直接估计后验概率p(ωi|x)作为分类准则来设计分类器如k近邻法. ^ 本章只考虑第一种方法 总体分布的非参数估计 概率密度函数估计的基本思想 一个随机变量x落在区域R的概率为P p(x)是要求的x的概率密度 概率P是p(x)在区域R上平滑或平均后得到的概率 我们可以通过估计P来估计p(x)的平滑值 P R 总体分布的非参数估计 估计概率P 假设有N个样本X=(x1, x2,… xN)T都是独立同分布的，概率密度函数是p(x)。 N个样本中有k个落入在R内的概率符合二项分布，即: 其中P是样本x落入R内的概率 Pk是k个样本落入R内的概率 总体分布的非参数估计 估计概率P 则随机变量k的数学期望: E(k)=NP k可以直接从训练样本估计得到 根据N个训练样本中落入区域R的样本数k,