概率密度函数的参.pptVIP

贝叶斯估计的一般理论 识别过程：类条件概率密度的计算 学习过程：参数后验概率密度的估计 * 单变量正态分布的贝叶斯估计 已知概率密度函数满足正态分布，其中方差σ2已知，均值μ未知，假设μ的先验概率满足正态分布，即： * 均值的后验概率 经推导可得，在已知训练样本集合D的条件下，参数μ的分布： * 均值的后验概率 均值的后验概率仍满足正态分布，其中： * 均值分布的变化 * 类条件概率密度的计算 * 共轭先验分布 如果假设参数的先验分布为其共轭分布，则参数的后验分布与先验分布属于同一分布族。 GMM中参数的共轭先验分布： μ的共轭先验为Gauss分布； Σ的共轭先验分布为Wishart分布； α的共轭先验分布为Dirichlet分布。 * MNIST数据集 类别：0~9，10个类别 图像大小：28*28； 特征提取：每点灰度值为特征，784维； 样本数量： 训练样本：60000 测试样本：10000 * * 7学时 * 需要推导 * 用GMM的导数来演示梯度下降的复杂性 * M步并一定要找到最优解，新的Q能够比原来的大就可以，称为“广义期望最大算法” * 举例说明观察到一个观察序列，可能的状态转移序列，以及每个可能序列输出这个观察序列的概率。 * 举例解释存在很多的重复计算，如w1w1w3w4w2和w1w1w3w4w3之间只有最后一步需要重新计算，前４步都是重复的． * 解释前向计算与反向回朔的过程 * * f(delta,deltan)是一个高斯积分，大小只与delta和deltan有关，与x无关 基本EM算法 样本集：令X是观察到的样本数据集合，Y为丢失的数据集合，完整的样本集合D=X?Y。 似然函数：由于Y未知，在给定参数θ时，似然函数可以看作Y的函数： * 基本EM算法 由于Y未知，因此我们需要寻找到一个在Y的所有可能情况下，平均意义下的似然函数最大值，即似然函数对Y的期望的最大值： E步： M步： * 基本EM算法 begin initialize ，T，i?0； do i?i+1 E步：计算 ; M步： until return * 隐含Markov模型 (Hidden Markov Model, HMM) 应用领域：识别对象存在着先后次序信息，如语音识别，手势识别，唇读系统等； 模式描述：特征矢量序列。 * 输入语音波形 * 观察序列 观察序列：信号的特征需要用一个特征矢量的序列来表示： 其中的vi为一个特征矢量，称为一个观察值。 * 一阶Markov模型 状态序列的产生：一阶Markov模型由M个状态构成，在每个时刻t，模型处于某个状态w(t)，经过T个时刻，产生出一个长度为T的状态序列WT=w(1),…,w(T)。 * 一阶Markov模型的状态转移 Markov性：模型在时刻t处于状态wj的概率完全由t-1时刻的状态wi决定，而且与时刻t无关，即： * Markov模型的初始状态概率 模型初始于状态wi的概率用 表示。 模型参数：一阶Markov模型可以用参数 表示，其中： * 一阶Markov模型输出状态序列的概率 输出状态序列的概率：由初始状态概率与各次状态转移概率相乘得到。 例如：W5=w1, w1, w3, w1, w2，则模型输出该序列的概率为： * 一阶隐含Markov模型 隐含Markov模型中，状态是不可见的，在每一个时刻t，模型当前的隐状态可以输出一个观察值。 隐状态输出的观察值可以是离散值，连续值，也可以是一个矢量。 * HMM的工作原理 观察序列的产生过程：HMM的内部状态转移过程同Markov模型相同，在每次状态转移之后，由该状态输出一个观察值，只是状态转移过程无法观察到，只能观察到输出的观察值序列。 输出概率：以离散的HMM为例，隐状态可能输出的观察值集合为{v1, v2, …, vK}，第i个隐状态输出第k个观察值的概率为bik。 例如：T=5时，可能的观察序列V5=v3v2v3v4v1 * HMM的工作过程 * HMM的参数表示 状态转移矩阵：A，M*M的方阵； 状态输出概率：B，M*K的矩阵； 初始概率：π，包括M个元素。 M个状态，K个可能的输出值。 * HMM的三个核心问题 估值问题：已有一个HMM模型，其参数已知，计算这个模型输出特定的观察序列VT的概率； 解码问题：已有一个HMM模型，其参数已知，计算最有可能输出特定的观察序列VT的隐状态转移序列WT； 学习问题：已知一个HMM模型的结构，其参数未知，根据一组训练序列对参数进行训练； * 估值问题 一个HMM模型产生观察序列VT可以由下式计算： rmax=MT为HMM所有可能的