05-0914第三章概率密度密度的估计.ppt

模式识别理论及应用Pattern Recognition - Methods and Application 第三章 概率密度密度的估计 内容目录 3.1 引言 基于样本的Bayes分类器：通过估计类条件概率密度函数，设计相应的判别函数 直接确定判别函数 基于样本的直接确定判别函数方法： 针对各种不同的情况，使用不同的准则函数，设计出满足这些不同准则要求的分类器。 这些准则的“最优”并不一定与错误率最小相一致：次优分类器。 实例：正态分布最小错误率贝叶斯分类器在特殊情况下，是线性判别函数g(x)=wTx（决策面是超平面），能否基于样本直接确定w? 基于样本的Bayes分类器设计 Bayes决策需要已知两种知识： 各类的先验概率P(ωi) 各类的条件概率密度函数p(x|ωi) 概率密度估计的方法 类的先验概率的估计： 用训练数据中各类出现的频率估计 依靠经验 类条件概率密度估计的两种主要方法： 参数估计：概率密度函数的形式已知，而表征函数的参数未知，通过训练数据来估计 最大似然估计 Bayes估计 非参数估计：密度函数的形式未知，也不作假设，利用训练数据直接对概率密度进行估计 Parzen窗法 kn-近邻法 3.2 参数估计 统计量：样本集的某种函数f(K) 参数空间：总体分布的未知参数θ所有可能取值组成的集合(Θ) 估计量的评价标准 估计量的评价标准：无偏性，有效性，一致性 无偏性：E( )=θ 有效性：D( )小，更有效 一致性：样本数趋于无穷时， 依概率趋于θ： 3.2.1 最大似然估计 Maximum Likelihood (ML) 样本集可按类别分开，不同类别的密度函数的参数分别用各类的样本集来训练。 概率密度函数的形式已知，参数未知，为了描述概率密度函数p(x|ωi)与参数θ的依赖关系，用p(x|ωi ,θ)表示。 估计的参数θ是确定而未知的，Bayes估计方法则视θ为随机变量。 独立地按概率密度p(x|θ)抽取样本集K={x1, x2 ,…, xN}，用K估计未知参数θ 似然函数 似然函数： 最大似然估计 最大似然估计示意图 计算方法 最大似然估计量使似然函数梯度为0 ： 一元正态分布例解 一元正态分布均值的估计 一元正态分布方差的估计 多元正态分布参数最大似然估计 3.2.2 贝叶斯估计-最大后验概率 用一组样本集K={x1, x2 ,…, xN}估计未知参数θ 未知参数θ视为随机变量，先验分布为 p(θ)，而在已知样本集K出现的条件下的后验概率为：p(θ|K) 最大后验概率估计-Maximum a posteriori (MAP) 贝叶斯估计-最小风险 参数估计的条件风险：给定x条件下，估计量的期望损失 贝叶斯估计 损失函数：误差平方 贝叶斯估计的步骤 一元正态分布例解 总体分布密度为： 一元正态分布例解 计算μ的后验分布： 贝叶斯学习 贝叶斯学习：利用θ的先验分布 p(θ)及样本提供的信息求出θ的后验分布p(θ|K) ，然后直接求总体分布 一元正态分布例解 总体分布密度为： 一元正态分布例解 直接计算总体密度： 3.2.3 混合高斯模型 Mixed gaussian distribution 密度函数具有如下形式：正态模型的线性组合 3.3 非参数估计 非参数估计：密度函数的形式未知，也不作假设，利用训练数据直接对概率密度进行估计。又称作模型无关方法。 参数估计需要事先假定一种分布函数，利用样本数据估计其参数。又称作基于模型的方法 两种主要方法： 核函数方法 Parzen窗法 kN-近邻法 神经网络方法：PNN 3.3.1 核函数方法 估计的目的：从样本集K= {x1, x2,…, xN}估计样本空间中任何一点的概率密度p(x) 基本方法：用某种核函数构造某一样本对待估计的密度函数的贡献，所有样本所作贡献的线性组合视作对某点概率密度p(x)的估计 核函数方法图解 基本方法 基本思想： 3.3.2 Parzen窗法 样本集KN= {x1, x2,…, xN} 区域RN是一个d维超立方体，棱长hN，体积VN= hNd 定义窗函数： 核函数的选择 核函数需满足归一化条件： 窗宽的选择 hN是控制“窗”宽度的参数，根据样本的数量选择。 太大：平均，分辨力低 太小：统计变动大 为保证依概率渐进收敛到真实的概率密度，即： 不同窗宽的估计效果 Parzen窗法示例 有限样本的影响 均方误差最小(MSE)准则 3.3.3 kN-近邻法 均匀核函数Parzen估计，窗宽固定，不同位置落在窗内的样本点的数目是变化的。 kN-近邻估计：把窗扩大到刚好覆盖kN个点。落在窗内的样本点的数目固定，窗宽是变化的。kN根据样本总数N选择。 概率密度估计表达式：点x处窗的“体积”是Vn： kN-近邻法举例 kN的选择：渐进收敛