3概率密度函数的估计.pptVIP

第三章 概率密度函数的估计;请各位思考的问题;Table of Contents;3.1 引言;基于样本的Bayes分类器设计;基于样本的Bayes分类器;直接确定判别函数;概率密度估计的方法;3.2 参数估计;估计量的评价标准;3.2.1 最大似然估计;似然函数;最大似然估计;最大似然估计示意图;计算方法;3.2.2 贝叶斯估计-最大后验概率;贝叶斯决策问题与贝叶斯估计问题;贝叶斯(最小风险)估计;贝叶斯估计(II);贝叶斯估计的步骤;3.3 正态分布的参数估计;3.3.1 一元正态分布例解;一元正态分布均值的估计;一元正态分布方差的估计;多元正态分布参数最大似然估计;3.3.2 一元正态分布贝叶斯估计例解;一元正态分布例解(II);一元正态分布例解;3.4 非参数估计;参数PK非参数：;1、计算最大值与最小值的差（知道这组数据的变动范围）:; 抽查某地区55名12岁男生的身高（单位：cm）的测量值如下： 128.1 144.4 150.3 146.2 140.6 126.0 125.6 127.7 154.4 142.7 141.2 142.7 137.6 136.9 132.3 131.8 147.7 138.4 136.6 136.2 141.6 141.1 133.1 142.8 136.8 133.1 144.5 142.4 140.8 127.7 150.7 160.3 138.8 154.3 147.9 141.3 143.8 138.1 139.7 142.9 144.7 148.5 138.3 135.3 134.5 140.6 138.4 137.3 149.5 142.5 139.3 156.1 152.2 129.8 133.2 试从以上数据中，对该地区12岁男生的身高情况进行大致的推测。 ;;频率分布条形图如下：;利用样本频率分布对总体分布进行相应估计;总体密度曲线; 用样本分布直方图去估计相应的总体分布时，一般样本容量越大，频率分布直方图就会无限接近总体密度曲线，就越精确地反映了总体的分布规律，即越精确地反映了总体在各个范围内取值概率。; 直方图估计法作为一种非参数估计方法, 广泛被应用, 直方图方法的特点是方法简单直观, 但直方图在处多维数据时计算十分复杂, 数据的大小范围必须事先知道, 密度估计结果曲线不光滑; 因此人们开始考虑用核估计方法进行密度估计。 SILVERMAN 把直方图估计看成是一种一维非参数核密度估计方法，宽度选择对界的影响很大, 当直方图的宽度取得很小时个体特征很明显出现多峰状态( 图1a) , 但当宽度越来越大时个特征逐渐消失( 图1c) 。 因此, 如果使用直方图估计密度时宽度选择必须适中, 宽度过大或过小都可能掩盖主统计特征。图1b 较为合理。;2、核函数方法基本思想;令R是包含样本点x的一个区域，其体积为V，设有n个训练样本，其中有k落在区域R中，则可对概率密度作出一个估计：;有效性;收敛性;区域选定的两个途径;Parzen窗法和K-近邻法;3.4.1 Parzen窗方法;1维数据的窗函数;概率密度函数的估计; 核函数的选择可以有多种: 如Parzen 窗(uniform)、三角(Triangle)、Epanechikov、四次(Quartic)、三权(Triweight)、高斯(Gauss)、余弦(Cosinus)、指数(Exponent)等。核函数的选择取决于根据距离分配各个样本点对密度贡献的不同。 通常选择什么核函数不是密度估计中最关键的因素, 因为选用任何核函数都能保证密度估计具有稳定相合性。最重要的是带宽对估计分布的光滑程度影响很大,自然地如何选择带宽将成了最重要的问题。 核函数的密度估计之所以能受到欢迎, 是因为它在带宽选择上能从数学的角度进行论证带宽最优原则。并且在独立同分布的情况下, 核估计量具有逐点渐进无偏性和一致渐进无偏性、均方相合性、强相合性、一致强相合性等。;窗函数的要求;窗函数的形式;窗函数的宽度对估计的影响;窗函数的宽度对估计的影响;识别方法;3.4.2 核函数方法;核函数方法图解;基本方法;3.4.3 Parzen窗法;核函数的选择;窗宽的选择;估计密度函数的统计性质;*;*;示例代码;有限样本的影响;3.4.4 kN-近邻法;kN-近邻法举例;3.5 分类器错误率的估计;1. 已设计好的分类器的错误率估计;错误率估计的统计性质;未设计好的分类器的错误率估计;3.6 讨论;练 习;2.对某电子元件进行使用寿命追踪调查，情况如下：;习题;习题