模式识别-第3章概率密度函数的参数估计探究.pptxVIP

第三章 概率密度函数的参数估计 3.0 引言 贝叶斯分类器的学习：类条件概率密度函数的估计。 问题的表示：已有c个类别的训练样本集合D1，D2，…，Dc，求取每个类别的类条件概率密度 。 概率密度函数的估计方法 参数估计方法：预先假设每一个类别的概率密度函数的形式已知，而具体的参数未知； 最大似然估计(MLE, Maximum Likelihood Estimation)； 贝叶斯估计(Bayesian Estimation)。 非参数估计方法。 3.1 最大似然估计 独立同分布假设：样本集D中包含n个样本：x1，x2， …, xn，样本都是独立同分布的随机变量(i.i.d，independent identically distributed)。 对类条件概率密度函数的函数形式作出假设，参数可以表示为参数矢量θ： 最大似然估计 似然函数 样本集D出现的概率： 对数似然函数： 最大似然估计 最大似然估计：寻找到一个最优矢量 ，使得似然函数 最大。 正态分布的似然估计 Gauss分布的参数：由均值矢量μ和协方差矩阵Σ构成，最大似然估计结果为： 3.2 期望最大化算法(EM算法) EM算法的应用可以分为两个方面： 训练样本中某些特征丢失情况下，分布参数的最大似然估计； 对某些复杂分布模型假设，最大似然估计很难得到解析解时的迭代算法。 混合密度模型 混合密度模型：一个复杂的概率密度分布函数可以由多个简单的密度函数混合构成： 高斯混合模型：GMM，Gauss Mixture Model 两个高斯函数的混合 样本的产生过程 高斯模型样本的产生：每一个样本都是按照正态分布产生的； GMM样本的产生：先按照先验概率ai选择一个子类，然后按照这个子类满足的正态分布产生样本。 GMM模型产生的2维样本数据 GMM模型的参数估计 GMM的参数： 参数估计：已知样本x1,…,xn，估计参数θ。 存在的问题：每个样本是由哪一个子集产生的未知。 训练样本： 来自子类： 已知y的条件下，参数的估计： 已知参数条件下，y的估计： K-mean算法 K-均值聚类 存在的问题：样本xt可能来自于任何一个子类，但在参数估计时只出现在一个子类中。 修改计算过程： EM算法 GMM的参数估计算法(EM) 随机初始化参数： 计算： 重新估计参数 θ； 迭代计算2，3步，直到收敛为止。 基本EM算法 样本集：令X是观察到的样本数据集合，Y为丢失的数据集合，完整的样本集合D=XY。 似然函数：由于Y未知，在给定参数θ时，似然函数可以看作Y的函数： 基本EM算法 由于Y未知，因此我们需要寻找到一个在Y的所有可能情况下，平均意义下的似然函数最大值，即似然函数对Y的期望的最大值： E步： M步： 基本EM算法 begin initialize ，T，i0； do ii+1 E步：计算 ; M步： until return EM算法的性质 收敛性：EM算法具有收敛性； 最优性：EM算法只能保证收敛于似然函数的局部最大值点（极值点），而不能保证收敛于全局最优点。 隐含Markov模型 (Hidden Markov Model, HMM) 应用领域：识别对象存在着先后次序信息，如语音识别，手势识别，唇读系统等； 模式描述：特征矢量序列。 输入语音波形 观察序列 观察序列：信号的特征需要用一个特征矢量的序列来表示： 其中的vi为一个特征矢量，称为一个观察值。 一阶Markov模型 M个状态： w1, w2, …, wM 时刻t：处于状态w(t)； 经过T个时刻： WT=w(1),…,w(T)。 一阶Markov模型的状态转移 Markov性：模型在时刻t处于状态wj的概率完全由t-1时刻的状态wi决定，而且与时刻t无关，即： Markov模型的初始状态概率 模型初始于状态wi的概率用 表示。 模型参数：一阶Markov模型可以用参数 表示，其中： 一阶Markov模型输出状态序列的概率 输出状态序列的概率：由初始状态概率与各次状态转移概率相乘得到。 例如：W5=w1, w1, w3, w1, w2，则模型输出该序列的概率为： 一阶Markov模型实例 某个城市天气的变化可以采用一阶马尔科夫模型描述，每天的天气有4种状态{晴、阴、雨、雪}。 一阶隐含Markov模型 隐含Markov模型中，状态是不可见的，在每一个时刻t，模型当前的隐状态输出一个观察值。 隐状态输出的观察值可以是离散值，连续值，也可以是一个矢量。 一阶隐含Markov模型实例 我们不知道某城市的天气情况，只知道当地某人每天的活动情况{散步、购物、做家务}。 HMM的工作原理 观