03第三章 概率密度函数的估计.pptVIP

第三章 概率密度函数的估计 (Probability Density Function, PDF) 李小霞 西南科技大学信息工程学院 目 录 3.1 引言 3.2 参数估计（ML，贝叶斯估计) 3.3 非参数估计（Parzen窗，KN近邻法） 问题的提出 参数估计：假定某种数学模型，再用训练样本估计模型的未知参数。 最大似然估计（Maximum Likelihood, ML） 贝叶斯估计 非参数估计：不用模型，利用训练样本直接估计PDF。 Parzen窗法 kN近邻法 目 录 3.1 引言 3.2 参数估计（ML，贝叶斯估计) 3.3 非参数估计（Parzen窗，KN近邻法） 参数估计 给定某类训练数据样本x1, x2, …xN； 假设已知 x 所服从的分布形式，待估计的参数为θ。 例如，x~N(μ，∑)，待估参数是θ= ? 为了描述 p(x) 与参数θ的依赖关系，用 p(x |θ) 表示。 最大似然估计 ML估计就是根据已经抽取的n个样本，来估计这组样本“最可能” 来自哪个密度函数（“最似”）。 随机变量 x 服从均匀分布 正态分布下的最大似然参数估计 方差估计 ∑是N个矩阵 的算术平均 例 正态分布假设下的 MAP 估计 x ~ N(μ,σ2) μ ~ N(μ0,σ02) MAP估计把θ看作随机变量，ML估计的参数θ是确定的未知量（固定值）； 当 p(θ) 比较准确，MAP估计的小样本性质优于ML估计； MAP?ML，当 N?∞； MAP?ML，σ0σ，p(θ) 服从均匀分布。 MAP估计 实际工作中处理的大都是高维数据： d ≥ 10 统计学中经典的多元（高维）分布很少，研究得最详尽的是多元正态分布。 近几十年的研究发现，实际所处理的高维数据几乎都不服从正态分布。 通过增加模型的复杂程度（参数的个数），如正态模型的线性组合—高斯混合模型，试图“逼近”真实的分布，出现了过拟合问题。 目 录 3.1 引言 3.2 参数估计（ML，贝叶斯估计) 3.3 非参数估计（Parzen窗，KN近邻法） 3.3 非参数估计 非参数估计不做任何模型假设 两种主要方法 直方图法 核方法 直方图法： 用直方图逼近概率密度函数 模式识别中常用的两种核方法 Parzen窗法： 区域体积VN ，窗固定 kN -近邻法：近邻样本数kN ，固定 两种常用的核函数 正态（高斯）核 Parzen窗法 均匀核函数Parzen窗估计的几何意义 点 x 处概率密度= 窗宽的选择 保证依概率渐进收敛到真实的概率密度 Parzen Windows function x=-2:0.01:2; N=256; hn=1/(N^0.5); L=length(x); px=zeros(1,L); for i=1:L s=x(i); px(i)=fu(s); end 不同窗宽的估计效果 h 越小，方差越大 N 越大，精度越高 不同维数达到相同估计精度所需的样本数 Parzen窗估计的优缺点 优点：简单，通用性强，不需要先验分布信息。 缺点：与参数估计方法相比，为了得到精确的估计结果，需要更多的训练样本，难以避免“维数灾难”问题，且时间和存储器开销都大得惊人。 解决维数灾难的有效方法：尽可能多地利用模式数据本身的先验知识。 kN—近邻估计 一个kN—近邻估计例子 kN的选择 kN 根据样本总数N选择 渐进收敛容易保证； 有限样本性质、最小平方误差与Parzen窗几乎相同。 讨论 高维概率分布的估计无论在理论上还是实际操作中都是一个十分困难的问题。 概率密度函数包含了随机变量的全部信息，是导致估计困难的重要原因。 进行模式识别并不需要利用概率密度的所有信息，只需要求出分类面。先估计概率密度，再进行分类，可能走了“弯路”。 参考文献 [1] Richard O. Duda, Peter E. Hart, David G. Stork, Pattern Classification, 2nd Edition, John Wiley Sons, Inc. 2001. [2] [希腊]Sergios Theodoridis，李晶皎译，模式识别（第3版），电子工业出版社，2006年12月 [3] K. Fukunaga, Introduction to Statistical Pattern Recognition. 2nd Edition, Academic Press, 1990.附录：矩阵微分的常用公式 思考题 概率密度函数的估计的参数估计包括哪两种主要的方法？简述各自的原理，什么情况下两种估计结果相近。 概率密度函数的估计的非参数估计包括