3_概率密度函数估计.ppt

模 式 识 别Pattern Recognition 吴贵芳 easyfancy@126.com 谢谢！ 讨论： 1.当样本数足够大时，?n?样本均值； ?n?0 2.先验知识与经验数据对估计值影响。 当观察一个样本时，N=1就会有一个μ的估计值的修正值;当观察N=4时，对μ进行修正，向真正的μ靠近;当观察N=9时，对μ进行修正，向真正的μ靠的更近 当N↑,μN就反映了观察到N个样本后对μ的最好推测，而σN2反映了这种推测的不确定性, N↑, σN2↓,σN2 随观察样本增加而单调减小，且当N→∞, σN2 →0 当N↑，P(μ|xi)越来越尖峰突起.N→∞, P(μ|xi)→σ函数，这个过程成为贝叶斯学习。 一元正态分布方差的估计 多元正态分布参数最大似然估计 均值估计是无偏的，协方差矩阵估计是有偏的。 协方差矩阵的无偏估计是： 最大似然估计示例 最大似然估计是把参数 看成为确定的未知参数。定义似然函数为 它给出了从总体中抽出 这样 N 个样本的概率。 多维情况下的估计参数为： ， 单维情况下的估计参数为： 3.2.2 Bayes估计和Bayes学习 1 Bayes估计 这里我们先回顾一下前面讲述的最小风险Bayes决策。 ——状态空间 ——观察或测量到的 d 维模式特征向量； ——决策空间 ——损失函数，表示真实状态为 而所采取的决策为 时所带来的某种损失。 给定 ，我们采取决策 情况下的条件期望损失： R表示采取决策 ?k总的平均损失。R称为Bayes风险，使R最小的决策 ?k称为Bayes决策。 是特征空间 中取任意值的随机变量，条件风险的期望 Bayes决策 确定 x 的真实状态 ?i （模式类） Bayes估计 根据一个样本集 ，找出估计量 ，估计 所属总体分布的某个真实参数 使带来的Bayes风险最小 令 为 代替 所造成的损失，对于一个观测矢量集合 ，当用 作为 的估计时，在观测 条件下的条件期望损失为 考虑到 的各种取值，我们应求 在状态空间 中的期望 ， 。 Bayes估计的基本思想：所求得的 的估计值 应使估计损失的期望最小，这种使 或等价地使 取最小值的 的估计值 称为 的Bayes估计。对于 不同的 ，可得到不同的最佳Bayes估计。 这里假定损失函数为平方误差，即 由于 是关于 的二次函数， 确使 或 最 小。上式表明， 的最小方差Bayes估计是在观测 条件下的 的条件期望。在许多情况下，最小方差Bayes估计是最理想的Bayes最优估计器。 对平方误差损失函数情况求解Bayes估计量的步骤如下： （1）确定 的先验分布 ； （2）由样本集 求出样本联合分布 （3）求 的后验分布 （4） 2 Bayes学习 Bayes学习与Bayes估计的前提条件是相同的，Bayes学习不是进行概率的参数估计，而是进行总体概率的推断以获得 ，因此，它们具有某些相同的计算内容，也有不同的计算目标。它们的前三步都是相同的，只是最后一步有所不同，Bayes学习最后一步为 在 已知的条件下， H 对 已不具有什么信息 下面我们看一下最大似然估计与Bayes解的关系。 最大似然估计近似等于Bayes解（条件是 在 有尖锐的凸峰） 单变量正态分布函数的定义及性质 单变量正态分布概函数 ，有两个参数 和 完全决定，常简记为 。 期望 方差 正态分布的监督参数估计示例 Bayes估计示例 Bayes估计是把参数 看成为随机的未知参数，一般 具有先验分布 。样本通过似然函数 并利用Bayes公式将 的先验分布 转化为后验分布。 现以单变量正态分布为例，并假