概率密度函数的参数估计.pptVIP

* 解释前向计算与反向回朔的过程 * * f(delta,deltan)是一个高斯积分，大小只与delta和deltan有关，与x无关 HMM的三个核心问题 估值问题：已有一个HMM模型，其参数已知，计算这个模型输出特定的观察序列VT的概率； 解码问题：已有一个HMM模型，其参数已知，计算最有可能输出特定的观察序列VT的隐状态转移序列WT； 学习问题：已知一个HMM模型的结构，其参数未知，根据一组训练序列对参数进行训练； 估值问题 一个HMM模型产生观察序列VT可以由下式计算： rmax=MT为HMM所有可能的状态转移序列数； 为状态转移序列 输出观察序列 的概率； 为 状态转移序列 发生的概率。 估值问题的计算 计算复杂度： HMM估值算法的简化 HMM的前向算法 初始化： 迭代计算： 结束输出： 计算复杂度： 解码问题 解码问题的计算：同估值问题的计算类似，最直观的思路是遍历所有的可能状态转移序列，取出最大值，计算复杂度为：O(MTT)。 同样存在着优化算法：Viterbi算法。 Viterbi算法 因为需要回朔最优路径，所以建立一个矩阵Φ，其元素 保存第t步，第i个状态在第t-1步的最优状态。 初始化： 迭代计算： 结束： 路径回朔： Viterbi算法图示 学习问题 HMM的学习问题： 已知一组观察序列(训练样本集合)： 如何确定最优的模型参数θ，使得模型产生训练集合V的联合概率最大 这同样是一个最大似然估计问题，需要采用EM算法。 图示 变量说明 ：表示在t-1时刻HMM处于状态ωi，并且从1?t-1时刻之间产生观察序列V1?t-1的概率； ：表示在t时刻HMM处于状态ωj，并且从t+1?T时刻之间产生观察序列Vt+1?T的概率； 变量说明 输出观察序列VT时，在t-1时刻HMM处于ωi状态，在时刻t处于ωj状态的概率： 前向-后向算法(Baum-Welch算法) 迭代公式： 初始概率： 状态转移概率： 输出概率： HMM的其它问题 连续HMM模型：在观察序列中每个观察值是一个特征矢量，相应的模型中输出概率b就需要用一个概率密度函数描述，其函数形式需要假设，通常使用GMM。 训练问题：通常可以用每个训练样本分别计算γ值，然后分子和分母部分分别进行累加，最后统一进行参数修正； 模型的拓扑结构：模型结构可以根据实际问题的需要来设计，在初始化状态转移矩阵A时，将某些元素设为0即可。 “左-右”模型结构 带跨越的“左-右”结构HMM模型 3.3 贝叶斯估计 为什么要采用贝叶斯估计？ 贝叶斯估计与最大似然估计有什么差别？ 贝叶斯估计与最大似然估计的差别 观点不同： 最大似然估计认为θ是一个确定的未知矢量; 贝叶斯估计认为θ是一个随机矢量。 过程不同： 最大似然估计：样本集D ? 估计最优参数θ*； 贝叶斯估计：样本集D和先验分布p(θ) ? 估计参数的后验分布p(θ|D)； 优点：提高小样本集条件下的估计准确率； 缺点：计算复杂 贝叶斯估计的一般理论 识别过程：类条件概率密度的计算 学习过程：参数后验概率密度的估计 单变量正态分布的贝叶斯估计 已知概率密度函数满足正态分布，其中方差σ2已知，均值μ未知，假设μ的先验概率满足正态分布，即： 均值的后验概率 经推导可得，在已知训练样本集合D的条件下，参数μ的分布： 均值的后验概率 均值的后验概率仍满足正态分布，其中： 均值分布的变化 类条件概率密度的计算 共轭先验分布 如果假设参数的先验分布为其共轭分布，则参数的后验分布与先验分布属于同一分布族。 GMM中参数的共轭先验分布： μ的共轭先验为Gauss分布； Σ的共轭先验分布为Wishart分布； α的共轭先验分布为Dirichlet分布。 MNIST数据集 类别：0~9，10个类别 图像大小：28*28； 特征提取：每点灰度值为特征，784维； 样本数量： 训练样本：60000 测试样本：10000 * 7学时 * 需要推导 * 用GMM的导数来演示梯度下降的复杂性 * M步并一定要找到最优解，新的Q能够比原来的大就可以，称为“广义期望最大算法” * 举例说明观察到一个观察序列，可能的状态转移序列，以及每个可能序列输出这个观察序列的概率。 * 举例解释存在很多的重复计算，如w1w1w3w4w2和w1w1w3w4w3之间只有最后一步需要重新计算，前４步都是重复的． 模式识别 – 概率密度函数的参数估计 第三章 概率密度函数的参数估计 3.0 引言 贝叶斯分类器的学习：类条件概率密度函数的估计。 问题的表示：已有c个类别的训练样本集合