第3章-概率密度函数估计.pptVIP

模式分类p76*P(x|xi)＝P(x|ωi，xi)结论第1点**参数估计要求密度函数的形式已知，但这种假定有时并不成立，常见的一些函数形式很难拟合实际的概率密度，经典的密度函数都是单峰的，而在许多实际情况中却是多峰的，因此用非参数估计。*我们可以通过估计P来估计p(x)的平滑值*Parzen窗口估计假设RN为一个d维的超立方体，hN为超立方体的长度∴超立方体体积为：，d=1，窗口为一线段d=2，窗口为一平面d=3，窗口为一立方体d3，窗口为一超立方体窗口的选择：方窗函数指数窗函数正态窗函数Φ(u)Φ(u)Φ(u)hN正态窗函数∵ф(u)是以原点x为中心的超立方体。∴在xi落入方窗时，则有在VN内为1不在VN内为0落入VN的样本数为所有为1者之和∴密度估计讨论：①每个样本对估计所起的作用依赖于它到x的距离，即|x-xi|≤hN/2时，xi在VN内为1，否则为0。②称为的窗函数，取0，1两种值，但有时可以取0,0.1,0.2，…多种数值，例如随xi离x接近的程度，取值由0,0.1,0.2，…到1。③要求估计的PN(x)应满足：为满足这两个条件，要求窗函数满足：④窗长度hN对PN(x)的影响若hN太大,PN(x)是P(x)的一个平坦,分辨率低的估计,有平均误差若hN太小,PN(x)是P(x)的一个不稳定的起伏大的估计,有噪声误差为了使这些误差不严重，hN应很好选择。例1：对于一个二类（ω1，ω2）识别问题，随机抽取ω1类的6个样本X=(x1，x2，….x6)ω1=(x1，x2，….x6)=(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1)估计P(x|ω1)即PN(x)解：选正态窗函数0123456x6x5x3x1x2x4x∵x是一维的上式用图形表示是6个分别以3.2，3.6，3，6，2.5，1.1为中心的丘形曲线(正态曲线)，而PN(x)则是这些曲线之和。由图看出，每个样本对估计的贡献与样本间的距离有关，样本越多，PN(x)越准确。例2：设待估计的P(x)是个均值为0，方差为1的正态密度函数。若随机地抽取X样本中的1个、16个、256个作为学习样本xi,试用窗口法估计PN(x)。解：设窗口函数为正态的，σ＝1，μ＝0hN:窗长度，N为样本数，h1为选定可调节的参数。用窗法估计单一正态分布的实验N=∞N=256N=16N=1讨论：由图看出,PN(x)随N,h1的变化情况①当N＝1时，PN(x)是一个以第一个样本为中心的正态形状的小丘，与窗函数差不多。②当N＝16及N=256时h1＝0.25曲线起伏很大，噪声大h1＝1起伏减小h1＝4曲线平坦，平均误差③当N→∞时，PN(x)收敛于一平滑的正态曲线，估计曲线较好。例3：待估的密度函数为两个均匀分布密度的混合密度解：此为多峰情况的估计设窗函数为正态-2.5x-20x2其它x-2.5-210.2502P(x)N=∞N=256N=16N=1用窗法估计两个均匀分布的实验当N=1、16、256、∞时的PN(x)估计如图所示①当N＝1时，PN(x)实际是窗函数。②当N＝16及N=256时h1＝0.25曲线起伏大；h1＝1曲线起伏减小h1＝4曲线平坦③当N→∞时，曲线较好。结论：①由上例知窗口法的优点是应用的普遍性。对规则分布，非规则分布，单锋或多峰分布都可用此法进行密度估计。②要求样本足够多，才能有较好的估计。因此使计算量，存储量增大。KN近邻估计：在窗口法中存在一个问题是对hN的选择问题。若hN选太小，则大部分体积将是空的（即不包含样本），从而使PN(x)估计不稳定。若hN选太大，则PN