[工学]3 概率密度函数的估计.ppt

第1章 绪论 第3章 概率密度函数的估计 3.1 引言 3.2 最大似然估计 3.3 Bayes估计与Bayes学习 3.4 总体分布的非参数估计 3.1 引言 进行贝叶斯决策的前提条件 已知相关的概率分布 先验概率可以较容易地进行估计 重点是估计类条件概率密度 两步贝叶斯决策 利用样本估计先验概率和类条件概率 依据估计量进行分类决策 估计量的性能 概率分布估计方法的分类依据 参数与非参数估计 概率密度函数的形式是否已知 监督与非监督估计 是否明确样本所属类别 综合两种不同的分类角度 概率密度函数估计的基本类型 监督参数估计——样本所属的类别及类条件总体概率密度函数的形式为已知，而表征概率密度函数的某些参数是未知的 非监督参数估计——已知总体概率密度函数的形式但未知样本所属类别，要求推断出概率密度函数的某些参数 非参数估计——已知样本所属类别，但未知总体概率密度函数的形式，要求我们直接推断概率密度函数本身 参数估计的几个基本概念 统计量 参数空间 点估计、估计量和估计值 estimator estimation value 区间估计 3.2 最大似然估计 先做几项基本假设： 设定这些假设的目的 分别处理C个独立的问题 独立地按照概率密度 抽取样本集，并用之去估计未知参数 3.3 Bayes估计和Bayes学习 贝叶斯估计的步骤总结 参数估计方法总结 最大似然估计 贝叶斯估计 贝叶斯学习 最大后验估计 关于本章的讨论 估计量性能标准 样本有限 非直接利用概率的分类方法 图3.2 均值的贝叶斯学习过程示意图 可见： 3.4 总体分布的非参数估计 基本方法 根据样本直接估计类概率密度函数的方法。 1. 出发点：基于事实，直方图累积 p(x)是概率密度函数。 随机向量x落入区域R的概率P为 ， 设从密度为p(x)的总体中独立抽取的样本x1,x2,…,xN。若 N个样本中有k个落入区域R中的概率最大，则 ：希望是X落入区域R中概率P的一个很好的估计。 众数 概率密度高的地方产生的样本多，利用样本累积估计真实概率密度 非单点直接累积，加窗 概率密度函数估计的基本方法 N个样本 是从概率密度函数为 的总体中独立抽取的，则 n 个样本中 k 个样本落入区域R 中的概率符合二项分布。 类概率密度函数p(x)的估计： 设p(x)连续，区域R足够小且体积为V ， p(x)在R中没有变化，x是R中的点。有 得 —— x点概率密度的估计 2. 存在的两个问题 1）固定V ，样本数增多，则k/N以概率1收敛；但只能得到在某一体积V中的平均估计。 2）N固定，V趋于零， 或发散到无穷大；没有意义。 必须注意V、k、k/N 随N变化的趋势和极限，保持合理性。 3. 估计的步骤： * 构造一串包含x的区域R1，R2，…，RN，… * 对R1采用一个样本估计，对R2采用两个样本，…… * 假定VN是RN的体积，kN是落入RN内的样本数目， 是 p(x)的第N次估计，有 4. 为保证估计合理性应满足的三个条件 1） 2） 3） 使频率能依概率1收敛于p(x) 落入RN中的样本数始终是总数中的极小部分 能代表x点的密度p(x) 5. 两种非参数估计法： Parzen窗法、 kN近邻估计法。 Parzen窗法 1．Parzen窗估计的基本概念 设区域RN：d维超立方体，棱长：hN，则 以原点为中心 的超立方体 当xi落入以x为中心，体积为VN的超立方体时： 否则 * * 先验概率 类条件概率（密度） 估计的参数 是确定（非随机）而未知的量 样本集按类别分开，假定有 c 类，则可分成 c 个样本集 ，其中 中的样本都是从概率密度为 的总体中独立地抽取出来的 类条件概率密度函数 具有某种确定的函数形式；为表示同 有关 ，记为 假定 中的样本不包含关于 的任何信息，也就是说不同类别的参数在函数上是独立的，即 中的样本只对 提供有关的信息 设：ωi类的类概率密度函数具有某种确定的函数形式； θ是该函数的一个未知参数或参数集。 最大似然估计把θ当作确定的未知量进行估计。 从ωi类中独立地抽取N个样本： 似然函数 称这N个样本的联合概率密度函数 为相对于样本集 X 的θ的似然函数。 ——在参数θ 下观测到的样本集X 的