模式识别(第3章密度估计)(1).ppt

第3章 概率密度函数的估计 3.1 引言 3.2 参数估计的基本概念 3.3 最大似然估计与正态分布的参数估计 3.4 Bayes估计与正态分布参数的估计 3.5 总体分布的非参数估计 3.6 分类器错误率的估计问题 3.1 引言 在贝叶斯决策理论中，基本的已知条件是： 类先验概率 P(ωi) 类条件概率密度 p(x |ωi ) 疑问： 它们从何而来？ 分类器的设计分成两步来完成： 1 利用样本集估计出P(ωi) 、 p(x |ωi )（本章要解决的基本问题） 2 利用Bayes决策理论设计分类器（前一章已经解决的问题） 本章要解决的三个问题 如何用样本集估计出P(ωi) 、 p(x |ωi )的估计量 评估与分析估计量的性质 利用样本集估计分类器错误率的方法 从样本集推断总体概率分布的方法 说明： 监督：样本的类别是已知的 非监督：样本的类别是未知的 参数估计：概率密度形式已知，只需推断出其中的未知参数 非参数估计：直接推断出概率密度本身 监督参数估计 条件：已知样本所属的类别及类条件总体概率密度函数的形式，未知概率密度函数的某些参数 监督参数估计：从已知类别的样本集，推断（估计）出总体分布（每一类概率密度函数）的某些参数的方法 例如：从样本求正态分布的均值向量与协方差矩阵 非监督参数估计 条件：未知样本所属类别，已知总体概率密度函数形式，但未知其中的某些参数 非监督参数估计：推断（估计）出总体概率密度函数中的某些参数的方法 非参数估计 条件：已知样本所属类别，但未知总体概率密度函数的形式 非参数估计：从已知类别的样本数据中，直接推断出概率密度函数本身 本章讲解的重点内容： 1 监督参数估计（估计类条件概率密度的参数） 2 非参数估计（估计类条件概率密度本身） 3 分类器错误率的实验估计方法 3.2 参数估计的基本概念 1 统计量 2 参数空间 3 点估计、估计量（估计子）、估计值 4 区间估计 1 统计量 目的：样本中包含着总体的信息，希望有一种数学手段将样本集中的有关信息抽取出来 统计量：针对不同要求构造出的关于样本的某种函数，这种函数在统计学中称为统计量 2 参数空间 在参数估计中，已知总体概率密度函数的形式，未知分布中的若干参数（记为 θ ） 在统计学中，将总体分布未知参数 θ 的全部可容许值组成的集合称为参数空间，记为 Θ （例如，n 维实数空间） 3 点估计 点估计问题是利用样本数据估计出总体分布参数的值 估计量（估计子）：构造一个统计量d(x1,…,xN) 作为参数 θ 的估计 ，在统计学中称 为 θ 的估计量（估计子） 估计量的性能评估 估计量是随机变量，不同的样本有不同的估计值 无偏估计量：估计量的期望等于真实参数 3.3.1 最大似然估计的基本理论 在统计学中似然函数的定义 最大似然估计的主要思想：如果在一次观察中一个事件出现了，则我们可以认为这一事件出现的可能性很大。现在，事件（x1,…xN ）在一次观察（从概率总体中抽取一组样本）中居然出现了，则我们认为似然函数 l(θ) 应该达到最大值 便于分析，可以取似然函数的对数，即 求最大似然估计量的方法 如果H(θ) 满足一定数学性质（连续可微），可以直接应用高等数学的知识来求最大点，即求梯度（偏导数），令其等于零，解线性或者非线性方程组得到估计量 说明： 3.3.2 正态分布参数的最大似然估计值 解释： 正态总体均值的最大似然估计量是学习样本的算术平均 正态总体方差的最大似然估计量是 N 个矩阵 的算术平均 模式识别系统的基本构造 对数函数是单调增函数，H(θ) 与 l(θ) 的最大点相同 设 梯度算子 从中求解出 θ 的最大似然估计量 1 有可能存在多个解 最大似然估计示意图 2 有可能求不出正确的解（比如均匀分布） 均匀分布 N = 100 没有极大值点 对数似然函数 两者至少有一个为无穷大，显然不合理 最小的可能值 最大 单变量正态分布的概率密度函数 要求的未知参数（均值与方差） 我们已知 N 个一维样本集 问题：利用最大似然估计法，针对上述样本集，求出均值与方差的估计值 最大似然估计量满足的方程 均值 方差 对于多元正态分布的概率密度函数 均值向量 协方差矩阵 性质： 均值的估计是无偏的 协方差矩阵的估计是渐近无偏的 无偏估计 3.3.3 用身高、体重区分男女生的例子 到现在为止，我们知道： Bayes决策理论 概率密度参数的最大似然估计 下面讲一个简单的应用 我们的任务可能是： 大学生男女同学在身高、体重方面的差别？ 大学生男女同学在身高、体重方面是否存在明显的界限？ 用同学们的身高、体重来区分男女同学？ 解决的方案：已讲的分类方法来处理 数据获取 预处理 特征提取与