[理学]第03章 概率密度函数的参数估计 模式识别课程 哈工大.ppt

第三章 概率密度函数的参数估计 3.0 引言 贝叶斯分类器中最主要的问题是类条件概率密度函数的估计。 问题可以表示为：已有c个类别的训练样本集合D1，D2，…，Dc，求取每个类别的类条件概率密度 。 概率密度函数的估计方法 参数估计方法：预先假设每一个类别的概率密度函数的形式已知，而具体的参数未知； 最大似然估计(MLE, Maximum Likelihood Estimation)； 贝叶斯估计(Bayesian Estimation)。 非参数估计方法。 3.1 最大似然估计 样本集D中包含n个样本：x1，x2， …, xn，样本都是独立同分布的随机变量(i.i.d，independent identically distributed)。 对类条件概率密度函数的函数形式作出假设，参数可以表示为参数矢量θ： 似然函数 由独立同分布假设，样本集D出现的概率为： 最大似然估计 最大似然估计就是要寻找到一个最优矢量 ，使得似然函数 最大。 正态分布的似然估计 Gauss分布的参数由均值矢量μ和协方差矩阵Σ构成，最大似然估计结果为： 3.2 贝叶斯估计 已有独立同分布训练样本集D； 已知类条件概率密度函数p(x|θ)的形式，但参数θ未知； 已知参数θ的先验概率密度函数p(θ)； 求在已有训练样本集D的条件下，类条件概率密度函数p(x|D)。 贝叶斯估计与最大似然估计的差别 最大似然估计认为θ是一个确定的未知矢量； 贝叶斯估计认为θ是一个随机变量，以一定的概率分布取所有可能的值。 贝叶斯估计的一般理论 单变量正态分布的贝叶斯估计 均值的后验概率 均值的后验概率 均值的后验概率仍满足正态分布，其中： 均值分布的变化 类条件概率密度的计算 3.3期望最大化算法(EM算法) EM算法的应用可以分为两个方面： 训练样本中某些特征丢失情况下，分布参数的最大似然估计； 对某些复杂分布模型假设，最大似然估计很难得到解析解时的迭代算法。 基本EM算法 令X是观察到的样本数据集合，Y为丢失的数据集合，完整的样本集合D=X?Y。 基本EM算法 由于Y未知，因此我们需要寻找到一个在Y的所有可能情况下，平均意义下的似然函数最大值，即似然函数对Y的期望的最大值： 基本EM算法 begin initialize ，T，i?0； do i?i+1 E步：计算 ; M步： until return 混合密度模型 一个复杂的概率密度分布函数可以由多个简单的密度函数混合构成： GMM模型产生的2维样本数据 两个高斯函数的混合 混合密度模型的参数估计 混合密度模型的参数可以表示为： GMM模型的参数估计 首先引入隐含数据集合: GMM参数的EM估计算法 设定混合模型数M，初始化模型参数 ，阈值T，i?0； 用下列公式迭代计算模型参数，直到似然函数变化小于T为止： EM算法的性质 EM算法具有收敛性； EM算法只能保证收敛于似然函数的局部最大值点（极值点），而不能保证收敛于全局最优点。 隐含Markov模型 (Hidden Markov Model, HMM) 有一些模式识别系统处理的是与时间相关的问题，如语音识别，手势识别，唇读系统等； 对这类问题采用一个特征矢量序列描述比较方便，这类问题的识别HMM取得了很好的效果。 输入语音波形 观察序列 信号的特征需要用一个特征矢量的序列来表示： 一阶Markov模型 一阶Markov模型由M个状态构成，在每个时刻t，模型处于某个状态w(t)，经过T个时刻，产生出一个长度为T的状态序列WT=w(1),…,w(T)。 一阶Markov模型的状态转移 模型在时刻t处于状态wj的概率完全由t-1时刻的状态wi决定，而且与时刻t无关，即： Markov模型的初始状态概率 模型初始于状态wi的概率用 表示。 完整的一阶Markov模型可以用参数 表示，其中： 一阶Markov模型输出状态序列的概率 模型输出状态序列的概率可以由初始状态概率与各次状态转移概率相乘得到。 例如：W5=w1, w1, w3, w1, w2，则模型输出该序列的概率为： 一阶隐含Markov模型 隐含Markov模型中，状态是不可见的，在每一个时刻t，模型当前的隐状态可以输出一个观察值。 隐状态输出的观察值可以是离散值，连续值，也可以是一个矢量。 HMM的工作原理 HMM的内部状态转移过程同Markov模型相同，在每次状态转移之后，由该状态输出一个观察值，只是状态转移过程无法观察到，只能观察到输出的观察值序列。 以离散的HMM为例，隐状态可能输出的观察值集合为{v1, v2, …, vK}，