模式识别课件第三章NO(概率密度函数估计).ppt

第三章 概率密度函数的估计 一 引言 前述是在已知P(wi)和p(x |wi)情况下进行讨论的。 　但实际中，我们能收集到的是有限数目的样本，而未知的则可能是： 　　　　① 条件概率密度（各类的总体分布）p(x|wi) ； 　　　　② 先验概率P(wi) 。 也许P(wi) 和p(x |wi)的形式可知，但其中的参数未知。 这时就利用统计推断中的估计理论：如利用样本集估计 p(wi)和p(x|wi) (分别记为 和　 ) 二 参数估计的基本概念 1 参数估计的类型 (1) 监督参数估计：样本所属的类别及p(x|wi)的形式为已知，而概率密度p(x|wi)中的一些参数是未知的。 这时要由已知类别的样本集对总体分布的某些参数进行估计。 (2) 非监督参数估计：已知p(x|wi)的形式，但未知样本所属类别。 　　这时就要估计概率密度中的一些参数。 注：监督与非监督参数估计的区别：样本所属类别是已知还是未知的。 (3) 非参数估计：已知样本所属类别，但未知p(x|wi)形式。 这时就要推断出概率密度函数。 2 名词解释 (1) 训练（学习）：在p(wi)、p(x|wi)或p(wi|x)不知道或不完全知道时，而根据样本来确定他们，这项工作成为训练或学习。 (2) 总体（母体）：一个模式类。 (3) 总体的子样：一个模式类中某些模式（总体中的一些元素）的集合称之这个总体的子样。 (4) 统计量：由样本构造的函数d(xi,…,xn )，即针对不同要求构造出样本的某种函数。 (5) 经验分布：由样本推断的分布。 (6) 估计：由样本按某种规则构造的一个统计量 　　θ’=θ(x1,x2,…,xn)，用θ’的值作为被估参数集θ的近似值。 (7) 点估计：构造一个统计量d(x1,…,xn )作为参数θ的估计θ’。 (8) 估计量：在统计学中称θ’为θ的估计量。 (9) 估计值：将类别wi中的几个样本观察值x1i,…,xni代入统计量d中所求得的第i类的具体数值θ’。 (10) 区间估计：在一区间内对θ进行估计，此区间称为置信区间。 (11) 参数空间：在概率密度形式已知，而未知的是其所含(几个)参数时，则未知参数(记为θ)的取值范围(即集合)称为参数空间。 三 参数估计的几种常用方法 1 最大似然估计 (1) 假设： ① 按类别把样本集分开，设有c类，即有c个样本集?1， 　　?2,…, ?c，其中?j的样本X =(x1,…,xn)是按类条件概率密度为p(X|wj)从总体中独立抽取的。 ② p(X|wj)的函数形式已知，但其参数向量θj未知，且θj唯一地是由p(X|wi)决定的(将其记为p(X|wj,θj) ，即表示p(X|wj)与θj有关。或说认为此概率密度是由θj、wj作为条件的条件概率密度)。 ③ 参数θ是由样本集唯一地确定（即θ是确定而未知的量）。 ④ 假设?i类中的样本不包含θj(i≠j)的信息，即不同类别的参数在函数上是独立的。 (2) 现在的问题就是：从样本提供的信息来得到参数向量θ1, θ2 ,… ,θc（每个类得到一个参数向量θ）的估计值。 (3) 最大似然估计的基本思想：如果在一次观察中一个事件X出现了，那么可认为这个事件出现的可能性很大 。这里，事件X ={x1,x2,…,xn}是按概率密度p(X|wi)从总体中抽出的样本，这时就认为p(X|θ)达到了最大值，使p(X|θ)达到最大值的θ’就是θ的最大似然估计。 (4) 最大似然估计的求解 设已得到属于同一类的N个样本，即　 X = {x1,…,xN} 它们具有概率密度p(xk|θ) (k=1,…,N），且样本是独立抽取的，则 　　 N 　p(X|θ) = p(x1,…,xN|θ) = ∏ p(xk|θ) (2-26) k=1 p(X|θ)是θ的函数（将其称为相对于样本集X的θ的似然函数，记为l(θ) ），即 　　 N 　l(θ) = p(X|θ) = ∏ p(