3概率密度函数的估计1.ppt

2.对某电子元件进行使用寿命追踪调查，情况如下： （1）列出频率分布表； （2）画出频率分布直方图； （3）估计电子元件使用寿命在400小时以上的概率。 寿命 100～200 200～300 300～400 400～500 500～600 个体 20 30 80 40 30 练 习 习题 一元正态分布的最大似然估计： 假设样本x服从正态分布N(μ,σ2) 已获得一组样本 x1 , x2 , … , xN 用C/Java/Matlab语言设计一程序片断，计算上题中的估计参数(μ,σ2) 试简述参数估计，非参数估计和非参数分类器等概念间的关系 证明对正态总体的期望u的最大似然估计是无偏的，对方差s2的最大似然估计是有偏的。 习题 已知一数据集有两类样本，第一类有四个样本，分别为: (0, 0, 1)，(1, 1, 1)，(1, 0, 1)及(1, 0, 0)，第二类也有四个样本，分别为: (0, 0, 0)，(1, 1, 0)，(0, 1, 0)及(0, 1, 1) 。1）试求该数据集的均值向量和协方差矩阵。2）说明该协方差矩阵中每个元素的含义。 给出Parzen窗估计的程序框图。 * * * * * * * 核函数的选择可以有多种: 如Parzen 窗(uniform)、三角(Triangle)、Epanechikov、四次(Quartic)、三权(Triweight)、高斯(Gauss)、余弦(Cosinus)、指数(Exponent)等。核函数的选择取决于根据距离分配各个样本点对密度贡献的不同。 通常选择什么核函数不是密度估计中最关键的因素, 因为选用任何核函数都能保证密度估计具有稳定相合性。最重要的是带宽对估计分布的光滑程度影响很大,自然地如何选择带宽将成了最重要的问题。 核函数的密度估计之所以能受到欢迎, 是因为它在带宽选择上能从数学的角度进行论证带宽最优原则。并且在独立同分布的情况下, 核估计量具有逐点渐进无偏性和一致渐进无偏性、均方相合性、强相合性、一致强相合性等。 核函数的形式重要吗？ 窗函数的要求 上述过程是一个内插过程，样本xi距离x越近，对概率密度估计的贡献越大，越远贡献越小。 只要满足如下条件，就可以作为窗函数： 窗函数的形式 窗函数的宽度对估计的影响 hn称为窗的宽度 窗函数的宽度对估计的影响 利用核函数进行识别的方法步骤 保存每个类别所有的训练样本； 选择窗函数的形式，根据训练样本数n选择窗函数的h宽度； 识别时，利用每个类别的训练样本计算待识别样本x的类条件概率密度： 采用Bayes判别准则进行分类。 3.4.2 核函数方法 估计的目的：从样本集K= {x1, x2,…, xN}估计样本空间中任何一点的概率密度p(x) 基本方法：用某种核函数表示某一样本对估计密度函数的贡献，所有样本所作贡献的线性组合视作对某点概率密度p(x)的估计 非参数估计 例1：对于一个二类（ ω1 ，ω2 ）识别问题，随机抽取ω1类的6个样本X=(x1，x2，…. x6) ω1=(x1，x2，…. x6) =(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1) 估计P(x|ω1)即PN(x) 解：选正态窗函数 0 1 2 3 4 5 6 x6 x5 x3 x1 x2 x4 x ∵x是一维的 上式用图形表示是6个分别以3.2，3.6，3，6，2.5，1.1为中 心的丘形曲线(正态曲线)，而PN(x)则是这些曲线之和。 由图看出，每个样本对估计的贡献与样本间 的距离有关，样本越多， PN(x)越准确。 例2：设待估计的P(x)是个均值为0，方差为1的正态密度 函数。若随机地抽取X样本中的1个、 16个、 256个作为 学习样本xi,试用窗口法估计PN(x)。 解：设窗口函数为正态的， σ＝1，μ＝0 hN:窗长度，N为样本数，h1为选定可调节的参数。 用 窗法估计单一正态分布的实验 N=∞ N=256 N=16 N=1 讨论：由图看出, PN(x)随N, h1的变化情况 ①当N＝1时， PN(x)是一个以第一个样本为中心的正态形状的小丘，与窗函数差不多。 ②当N＝16及N=256时 h1＝0.25 曲线起伏很大，噪声大 h1＝1 起伏减小 h1＝4 曲线平坦，平均误差 ③当N→∞时， PN(x)收敛于一平滑的正态曲线， 估计曲线较好。 核函数方法图解 非参数估计 一个样本对自己所在位置的分布贡献最大，离得越远贡献越小 基本方法 基本思想： 两种常用的方法： Parzen窗法: kN-近邻法: 非参数估计 3.4.3 Par