第3章 ML估计和Bayesian参数估计课件.ppt

最大似然估计和贝叶斯参数估计;最大似然估计和贝叶斯参数估计;引言;引言;引言;引言;引言;引言;最大似然估计和贝叶斯参数估计;参数估计;最大似然估计（ML）;最大似然估计（ML）;最大似然估计（ML）;最大似然估计（ML）;最大似然估计（ML）;最大似然估计（ML）;最大似然估计（ML）;最大似然估计（ML）;最大似然估计（ML）;最大似然估计（ML）;最大似然估计（ML）;最大似然估计（ML）;最大似然估计（ML）;正态分布情况：仅参数 未知;最大似然估计（ML）;最大似然估计（ML）;最大似然估计（ML）;最大似然估计（ML）;最大似然估计（ML）;统计量的无偏性;最大似然估计（ML）;参数估计;贝叶斯估计;贝叶斯决策问题: 样本x 决策αi 真实状态wj 状态空间A是离散空间 先验概率P(wj);贝叶斯估计;贝叶斯估计;贝叶斯估计;正态分布情况：仅参数 未知;μ的二次函数的指数函数，所以仍然是一个正态密度函数;由两式指数项中对应的系数相等得：;求解方程组得：;因此， μ的贝叶斯估计值：;n：样本数量;贝叶斯估计;ML估计和Bayesian估计的比较;ML估计和Bayesian估计的比较;最大似然估计和贝叶斯参数估计;维数、精度、训练样本数;维数、精度、训练样本数;维数、精度、训练样本数;维数、精度、训练样本数;特征选择提取;过拟合;维数、精度、训练样本数;成分分析和判别函数;线性投影;主成分分析（PCA ）;PCA 样本零维表示： 问题：给定 维数样本集 ，要求采用一个向量 来最好表示样本集 定义如下的平方误差： ;PCA 样本1维表示： 问题：给定 维数样本集 ，要求采用向量 （过m的直线），来最好表示样本集 的每一个样本。 定义如下的平方误差： ;令：;如何找到最优方向e？ 先引入散布矩阵（Scatter Matrix）的概念;;约束为：;这一结论可以推广到d’维空间的映射。; 因为散布矩阵S是实对称矩阵，因此这些特征向量都是互相正交的。这些特征向量构成了代表任意向量x的基向量。;PCA;PCA;PCA;主成分;最大似然估计和贝叶斯参数估计;Fisher线性判别分析（FDA）;FDA;FDA;FDA;FDA;FDA;FDA;FDA;FDA;由于w的模对问题本身无关紧要，因此FDA使得准则函数最大化的W取值为：;FDA;FDA;多重FDA;最大似然估计和贝叶斯参数估计;期望最大化算法(EM算法);期望最大化算法(EM算法);期望最大化算法(EM算法);ML估计： 给定数据集 ，并已知分布形式 使似然函数 最小化的参数值。 部分特征丢失情况： ;期望最大化算法(EM算法);迭代方法：给定初始参数 E步（边沿化未知特征）： M步（最大化边沿化后的似然函数）： ;期望最大化算法(EM算法);期望最大化算法(EM算法);例：给定样本集： 样本服从 第1次迭代：E步： ; 第1次迭代：M步 改善后的参数估计作为第2次迭代的输入： ; 第2次迭代：E步; 第......次迭代：;期望最大化算法(EM算法);期望最大化算法(EM算法);混合密度模型;高斯混合模型; 例1：一个班级每个学生的身高为X 假设男生和女生的身高分别服从高斯分布 则 其中 为男生的比例， 问题：给定独立同分布(independent and identically distributed----IID)的数据 , 求参数 混合模型的参数估计是EM 算法最典型的应用;高斯混合模型;EM算法;EM算法;EM算法;最大似然估计和贝叶斯参数估计;隐马尔科夫模型（ HMM ）;Markov 模型（MM）;Markov 模型（MM）;Markov 模型（MM）;Markov 模型（MM）;Markov 模型（MM）;Markov模型;Markov模型的参数表示;隐Markov模型（HMM）;隐Markov模型（HMM）;隐Markov模型（HMM）;HMM 的参数表示;HMM 的例子;HMM的三个核心问题;HMM的三个核心问题;估值问题;估值问题;估值问题;HMM的前向算法;HMM的前向算法;HMM的后向算法;估值问题的例子;估值问题的例子;估值问题的例子;HMM的三个核心问题;解码问题;解码问题;解码问题;解码问题;解码问题;最优Viterbi算法：要获得全局最优解 不能只考虑一步转移，要通盘考虑所有状态 不同于直