第3章 概率密度函数的参数估计.ppt

第三章 概率密度函数的参数估计 3.0 引言 贝叶斯分类器的学习：类条件概率密度函数的估计。 问题的表示：已有c个类别的训练样本集合D1，D2，…，Dc，求取每个类别的类条件概率密度 。 概率密度函数的估计方法 参数估计方法：预先假设每一个类别的概率密度函数的形式已知，而具体的参数未知； 最大似然估计(MLE, Maximum Likelihood Estimation)； 贝叶斯估计(Bayesian Estimation)。 非参数估计方法。 3.1 最大似然估计 独立同分布假设：样本集D中包含n个样本：x1，x2， …, xn，样本都是独立同分布的随机变量(i.i.d，independent identically distributed)。 对类条件概率密度函数的函数形式作出假设，参数可以表示为参数矢量θ： 似然函数 样本集D出现的概率： 最大似然估计 最大似然估计：寻找到一个最优矢量 ，使得似然函数 最大。 正态分布的似然估计 Gauss分布的参数：由均值矢量μ和协方差矩阵Σ构成，最大似然估计结果为： 3.2 期望最大化算法(EM算法) EM算法的应用可以分为两个方面： 训练样本中某些特征丢失情况下，分布参数的最大似然估计； 对某些复杂分布模型假设，最大似然估计很难得到解析解时的迭代算法。 混合密度模型 混合密度模型：一个复杂的概率密度分布函数可以由多个简单的密度函数混合构成： 两个高斯函数的混合 样本的产生过程 高斯模型样本的产生：每一个样本都是按照正态分布产生的； GMM样本的产生：先按照先验概率ai选择一个子类，然后按照这个子类满足的正态分布产生样本。 GMM模型产生的2维样本数据 GMM模型的参数估计 GMM的参数： 存在的问题：样本xt可能来自于任何一个子类，但在参数估计时只出现在一个子类中。 修改计算过程： 混合密度模型的参数估计 混合密度模型的参数可以表示为： EM算法的性质 收敛性：EM算法具有收敛性； 最优性：EM算法只能保证收敛于似然函数的局部最大值点（极值点），而不能保证收敛于全局最优点。 基本EM算法 样本集：令X是观察到的样本数据集合，Y为丢失的数据集合，完整的样本集合D=X?Y。 基本EM算法 由于Y未知，因此我们需要寻找到一个在Y的所有可能情况下，平均意义下的似然函数最大值，即似然函数对Y的期望的最大值： 基本EM算法 begin initialize ，T，i?0； do i?i+1 E步：计算 ; M步： until return 隐含Markov模型 (Hidden Markov Model, HMM) 应用领域：识别对象存在着先后次序信息，如语音识别，手势识别，唇读系统等； 模式描述：特征矢量序列。 输入语音波形 观察序列 观察序列：信号的特征需要用一个特征矢量的序列来表示： 一阶Markov模型 状态序列的产生：一阶Markov模型由M个状态构成，在每个时刻t，模型处于某个状态w(t)，经过T个时刻，产生出一个长度为T的状态序列WT=w(1),…,w(T)。 一阶Markov模型的状态转移 Markov性：模型在时刻t处于状态wj的概率完全由t-1时刻的状态wi决定，而且与时刻t无关，即： Markov模型的初始状态概率 模型初始于状态wi的概率用 表示。 模型参数：一阶Markov模型可以用参数 表示，其中： 一阶Markov模型输出状态序列的概率 输出状态序列的概率：由初始状态概率与各次状态转移概率相乘得到。 例如：W5=w1, w1, w3, w1, w2，则模型输出该序列的概率为： 一阶隐含Markov模型 隐含Markov模型中，状态是不可见的，在每一个时刻t，模型当前的隐状态可以输出一个观察值。 隐状态输出的观察值可以是离散值，连续值，也可以是一个矢量。 HMM的工作原理 观察序列的产生过程：HMM的内部状态转移过程同Markov模型相同，在每次状态转移之后，由该状态输出一个观察值，只是状态转移过程无法观察到，只能观察到输出的观察值序列。 输出概率：以离散的HMM为例，隐状态可能输出的观察值集合为{v1, v2, …, vK}，第i个隐状态输出第k个观察值的概率为bik。 例如：T=5时，可能的观察序列V5=v3v2v3v4v1 HMM的工作过程 HMM的参数表示 状态转移矩阵：A，M*M的方阵； 状态输出概率：B，M*K的矩阵； 初始概率：π，包括M个元素。 M个状态，K个可能的输出值。 HMM的三个核心问题 估值问题：已有一个HMM模型，其参数已知，计算这个模型输出特定的观察序列VT的概率； 解码问