概率密度密度的估计.pptxVIP

北华大学电气信息工程学院PRA第三章概率密度密度的估计模式识别理论及应用

PatternRecognition

-MethodsandApplication

内容目录PRA第三章概率密度密度的估计3.1引言3.2参数估计3.3非参数估计3.4讨论模式识别与神经网络

3.1引言第三章概率密度密度的估计3基于样本的Bayes分类器：通过估计类条件概率密度函数，设计相应的判别函数MAXg1...g2gc...x1x2xna(x)最一般情况下适用的“最优”分类器：错误率最小，对分类器设计在理论上有指导意义。获取统计分布及其参数很困难，实际问题中并不一定具备获取准确统计分布的条件。训练样本集样本分布的

统计特征：

概率密度函数决策规则：

判别函数

决策面方程分类器

功能结构

直接确定判别函数第三章概率密度密度的估计4基于样本的直接确定判别函数方法：针对各种不同的情况，使用不同的准则函数，设计出满足这些不同准则要求的分类器。这些准则的“最优”并不一定与错误率最小相一致：次优分类器。实例：正态分布最小错误率贝叶斯分类器在特殊情况下，是线性判别函数g(x)=wTx（决策面是超平面），能否基于样本直接确定w?引言训练样本集决策规则：

判别函数

决策面方程选择最佳准则

基于样本的Bayes分类器设计第三章概率密度密度的估计5Bayes决策需要已知两种知识：各类的先验概率P(ωi)各类的条件概率密度函数p(x|ωi)知识的来源：对问题的一般性认识或一些训练数据基于样本的两步Bayes分类器设计:利用样本集估计P(ωi)和p(x|ωi)基于上述估计值设计判别函数及分类器面临的问题：如何利用样本集进行估计估计量的评价

概率密度估计的方法第三章概率密度密度的估计6类的先验概率的估计：用训练数据中各类出现的频率估计依靠经验类条件概率密度估计的两种主要方法：参数估计：概率密度函数的形式已知，而表征函数的参数未知，通过训练数据来估计最大似然估计Bayes估计非参数估计：密度函数的形式未知，也不作假设，利用训练数据直接对概率密度进行估计Parzen窗法kn-近邻法引言

3.2参数估计7第三章概率密度密度的估计01统计量：样本集的某种函数f(K)参数空间：总体分布的未知参数θ所有可能取值组成的集合(Θ)02点估计的估计量和估计值：03

估计量的评价标准8第三章概率密度密度的估计估计量的评价标准：无偏性，有效性，一致性无偏性：E()=θ有效性：D()小，更有效一致性：样本数趋于无穷时，依概率趋于θ：

3.2.1最大似然估计第三章概率密度密度的估计9MaximumLikelihood(ML)样本集可按类别分开，不同类别的密度函数的参数分别用各类的样本集来训练。概率密度函数的形式已知，参数未知，为了描述概率密度函数p(x|ωi)与参数θ的依赖关系，用p(x|ωi,θ)表示。估计的参数θ是确定而未知的，Bayes估计方法则视θ为随机变量。独立地按概率密度p(x|θ)抽取样本集

K={x1,x2,…,xN}，用K估计未知参数θ

似然函数10第三章概率密度密度的估计对数(loglarized)似然函数：似然函数：最大似然估最大似然估计11第三章概率密度密度的估计最大似然估计

最大似然估计示意图121第三章概率密度密度的估计2最大似然估计

计算方法13第三章概率密度密度的估计01最大似然估计量使似然函数梯度为0：02最大似然估计03

一元正态分布例解14第三章概率密度密度的估计最大似然估计12

一元正态分布均值的估计15第三章概率密度密度的估计01最大似然估计02

一元正态分布方差的估计16最大似然估计第三章概率密度密度的估计

多元正态分布参数最大似然估计17231第三章概率密度密度的估计均值估计是无偏的，协方差矩阵估计是有偏的。协方差矩阵的无偏估计是：最大似然估计

3.2.2贝叶斯估计-最大后验概率18第三章概率密度密度的估计01用一组样本集K={x1,x2,…,xN}估计未知参数θ未知参数θ视为随机变量，先验分布为p(θ)，而在已知样本集K出现的条件下的后验概率为：p(θ|K)最大后验概率估计-Maximumaposteriori(MAP)02

贝叶斯估计-最小风险19第三章概率密度密度的估计参数估计的条件风险：给定x条件下，估计量的期望损失参数估计的风险：估计量的条件风险的期望贝叶斯估计：使风险最小的估计贝叶斯估计

贝叶斯估计20第三章概率密度密度的估计损失函数：误差平方贝叶斯估计定理3.1:如果定义损失函数为误差平方函数，则有贝叶斯估计的步骤21第三章概率密度密度的估计贝叶斯估计确定θ的先验分布p(θ)由样本集K={x1,x2,…,xN}