概率密度函数的估计.docVIP

张学工《模式识别》教学课件 PAGE PAGE 31 Xuegong Zhang, Tsinghua 第三章　概率密度函数的估计 3.1　引言 贝叶斯决策： 已知和，对未知样本分类（设计分类器） 实际问题： 已知一定数目的样本，对未知样本分类（设计分类器） 怎么办？ 一种很自然的想法： 首先根据样本估计和，记和 然后用估计的概率密度设计贝叶斯分类器。 ——（基于样本的）两步贝叶斯决策 希望：当样本数时，如此得到的分类器收敛于理论上的最优解。 为此， 需 重要前提： 训练样本的分布能代表样本的真实分布，所谓i.i.d条件 有充分的训练样本 本章讨论内容： 如何利用样本集估计概率密度函数？ 估计概率密度的两种基本方法： 参数方法 (parametric methods) 非参数方法 (nonparametric methods) 基本概念 参数估计(parametric estimation)： 已知概率密度函数的形式，只是其中几个参数未知，目标是根据样本估计这些参数的值。 几个名词： 统计量(statistics)：样本的某种函数，用来作为对某参数的估计 参数空间(parametric space)：待估计参数的取值空间 估计量(estimation)： 3.2　最大似然估计(Maximum Likelihood Estimation) 假设条件： ① 参数是确定的未知量，（不是随机量） ② 各类样本集，中的样本都是从密度为的总体中独立抽取出来的，（独立同分布，i.i.d.） ③ 具有某种确定的函数形式，只其参数未知 ④ 各类样本只包含本类分布的信息 其中，参数通常是向量，比如一维正态分布，未知参数可能是，此时可写成或。 鉴于上述假设，我们可以只考虑一类样本，记已知样本为 似然函数（likelihood function） —— 在参数下观测到样本集的概率（联合分布）密度 基本思想： 如果在参数下最大，则应是“最可能”的参数值，它是样本集的函数，记作。称作最大似然估计量。 为了便于分析，还可以定义对数似然函数。 求解： 若似然函数满足连续、可微的条件，则最大似然估计量就是方程 或 的解（必要条件）。 若未知参数不止一个，即，记梯度算子 则最大似然估计量的必要条件由S个方程组成： 讨论： 如果或连续、可微，存在最大值，且上述必要条件方程组有唯一解，则其解就是最大似然估计量。（比如多元正态分布）。 如果必要条件有多解，则需从中求似然函数最大者 若不满足条件，则无一般性方法，用其它方法求最大（见课本均匀分布例） 正态分布下的最大似然估计示例 以单变量正态分布为例 ，， 样本集 似然函数 对数似然函数 最大似然估计量满足方程 而 得方程组 解得 3.3　贝叶斯估计和贝叶斯学习（Bayesian Estimation and Bayesian Learning） 贝叶斯估计 思路与贝叶斯决策类似，只是离散的决策状态变成了连续的估计。 基本思想： 把待估计参数看作具有先验分布的随机变量，其取值与样本集有关，根据样本集估计。 损失函数：把估计为所造成的损失，记为 期望风险： 其中, ， 条件风险： 最小化期望风险 ? 最小化条件风险 （对所有可能的） 有限样本集下，最小化经验风险： 贝叶斯估计量：（在样本集下）使条件风险（经验风险）最小的估计量。 损失： 离散情况：损失函数表（决策表）； 连续情况：损失函数 常用的损失函数： （平方误差损失函数） 定理3.1　 请自学证明过程 如果采用平方误差损失函数，则的贝叶斯估计量是在给定时的条件期望，即 同理可得到，在给定样本集下，的贝叶斯估计是： 求贝叶斯估计的方法：（平方误差损失下） （1）确定的先验分布 （2）求样本集的联合分布 （3）求的后验概率分布 （4）求的贝叶斯估计量 我们也可直接推断总体分布 其中， 。 设的最大似然估计为，则在处很可能有一尖峰，若如此，且先验概率在处非零且在附近变化不大，则 ， 即贝叶斯估计结果与最大似然估计结果近似相等。 如的峰值不尖锐，则不能用最大似然估计来代替贝叶斯估计。 考虑估计的收敛性：记学习样本个数，样本集 时有 因此有递推后验概率公式： 设， 则随着样本数增多，可得后验概率密度函数序列： ，，