模式识别郝旷荣Chap3(MSSB--HKR).ppt

第三章 概率密度函数的估计 §3.1. 什么是概率总体的估计？ 　　§3.2 正态分布的监督参数估计　　§3.3 非监督参数估计　　§3.4 总体分布的非参数估计　　§ 本章小结 3.1. 什么是概率总体的估计？ 在一般的模式识别问题中，通常并不知道所讨论问题的概率结构，所知道的只是一些一般性的、模糊的知识，以及一些可能的样本。因此，为了在这些已知信息的基础上利用统计方法设计分类器，就需要事先利用它们对概率总体做出估计。 概率总体估计的基本问题 利用样本来估计未知的概率和概率密度函数 将估计出来的概率和概率密度函数作为它们的实际值来使用 概率总体估计问题的分类参数估计： 参数估计:在已知概率密度函数形式的条件下进行的估计称为参数估计 非参数估计：在未知概率密度函数形式的条件下进行的估计称为非参数估计 极大似然估计 Bayes 估计 Bayes学习 假定每个样本的类别是已知的，并且可以把它们按照类别分成c组： H1，H2，…，Hc 其中Hj的样本都属于?j类，而且它们都是按类条件概率密度函数p(X|?j)从概率总体中独立抽取的。如果能假定p(X|?j)的函数形式，并且把它的参数看成是未知向量，记为?j，则只要?j一经确定，概率密度函数就完全确定了。 问题的简化 为了强调类条件概率密度函数p(X|?j)同?j有关，可以把它记成p(X|?j, ?j)或p(X|?j)。 假定在样本集Hi中不包含关于?j (j?i)的信息，也就是说不同类的参数是无关的。 问题的划分 整个参数估计问题就可以按模式类分成c个单独的问题来处理 在每个问题中，用按概率密度函数p(X|?j)独立地抽取的样本集去估计未知参数向量?j。 似然函数的构造 设样本集H包含n个独立抽取的样本，即H={X1, X2,…,Xn}，那么有： 其中p(H|?)称为关于样本集合H的?的似然函数。 极大似然估计的主要思想 如果在一次观察中一个事件出现了，那么可以认为这个事件出现的可能性很大 也就是说，可以认为p(H|?)达到了极大值 使p(H|?)达到极大值的?就是它的极大似然估计 极大似然估计的计算方法 设?是有r个分量的列向量： 定义梯度算子： 定义对数似然函数 极大似然估计举例 一维正态分布下的极大似然估计 多维正态分布下的极大似然估计 一维正态分布下的极大似然估计 如果Xk 是一维向量且p(Xk|?)是一维正态分布，那么 其中 设 则对数似然函数为： 极大似然方程组为： 的极大似然估计为： 多维正态分布下的极大似然估计 如果Xk是d(d1)维向量且p(Xk|?)是d维正态分布，那么 其中 极大似然估计为： Bayes决策的回顾： 设A={?1,?2,…,?r}是r个可能的动作的有限集合；?={?1,?2,…,?s}是s个自然状态的有限集合；?(?i|?j)是当自然状态为?j时，采取动作?i所造成的损失；特征向量X是n维随机向量；p(?j|X)是在给定X的条件下自然状态为?j的后验条件概率密度；那么对特定的X，采取动作?i造成的平均损失，即条件期望损失或条件风险为： 如果将观察到一个X时采取的决策记为?(X)(决策函数)，那么总的风险可以表示为： 其中R也称为Bayes风险，使R最小的决策称为Bayes决策，即： 如果 ，则?=?k。 损失函数 在Bayes估计中，Bayes风险R可以用下面的积分来描述： 其中 称为损失函数。 条件风险 因为 所以 其中 ?为?可能取值的参数空间。 条件风险与Bayes风险的关系 是给定X条件下估计量 的期望损失，通常称为条件风险 条件风险与Bayes决策中给定X时决策?i的条件风险 具有对应关系 使条件风险最小的估计量也一定能使Bayes风险R最小 Bayes估计量 使条件风险 最小的估计量 Bayes估计定理 如果损失函数是二次函数，即 则?的Bayes估计量 是在给定X时?的条件期望，即 Bayes估计定理的证明 关键在使条件风险 最小 因为 所以 因此当 时，条件风险 达到最小 从而Bayes估计量为： Bayes估计量的计算步骤 确定?的先验分布p(?) 由样本集H={X1, X2,…,Xn}