概率密度函数的参数估计.ppt

一阶Markov模型实例某个城市天气的变化可以采用一阶马尔科夫模型描述，每天的天气有4种状态{晴、阴、雨、雪}。第30页，共61页，星期日，2025年，2月5日一阶隐含Markov模型隐含Markov模型中，状态是不可见的，在每一个时刻t，模型当前的隐状态输出一个观察值。隐状态输出的观察值可以是离散值，连续值，也可以是一个矢量。第31页，共61页，星期日，2025年，2月5日一阶隐含Markov模型实例我们不知道某城市的天气情况，只知道当地某人每天的活动情况{散步、购物、做家务}。第32页，共61页，星期日，2025年，2月5日HMM的工作原理观察序列的产生过程：HMM的内部状态转移过程同Markov模型相同，在每次状态转移之后，由该状态输出一个观察值，只是状态转移过程无法观察到，只能观察到输出的观察值序列。输出概率：以离散的HMM为例，隐状态可能输出的观察值集合为{v1,v2,…,vK}，第i个隐状态输出第k个观察值的概率为bik。例如：T=5时，可能的观察序列V5=v3v2v3v4v1第33页，共61页，星期日，2025年，2月5日HMM的参数表示状态转移矩阵：A，M*M的方阵；状态输出概率：B，M*K的矩阵；初始概率：π，包括M个元素。 M个状态，K个可能的输出值。第34页，共61页，星期日，2025年，2月5日HMM的三个核心问题估值问题：已有一个HMM模型，其参数已知，计算这个模型输出特定的观察序列VT的概率；解码问题：已有一个HMM模型，其参数已知，计算最有可能输出特定的观察序列VT的隐状态转移序列WT；学习问题：已知一个HMM模型的结构，其参数未知，根据一组训练序列对参数进行训练；第35页，共61页，星期日，2025年，2月5日估值问题一个HMM模型产生观察序列VT可以由下式计算：rmax=MT为HMM所有可能的状态转移序列数；为状态转移序列输出观察序列的概率；为状态转移序列发生的概率。第36页，共61页，星期日，2025年，2月5日估值问题的计算计算复杂度：第37页，共61页，星期日，2025年，2月5日HMM估值算法的简化第38页，共61页，星期日，2025年，2月5日HMM的前向算法初始化：迭代计算：结束输出：计算复杂度：第39页，共61页，星期日，2025年，2月5日解码问题解码问题的计算：同估值问题的计算类似，最直观的思路是遍历所有的可能状态转移序列，取出最大值，计算复杂度为：O(MTT)。同样存在着优化算法：Viterbi算法。第40页，共61页，星期日，2025年，2月5日Viterbi算法因为需要回朔最优路径，所以建立一个矩阵Φ，其元素保存第t步，第i个状态在第t-1步的最优状态。初始化：迭代计算：结束：路径回朔：第41页，共61页，星期日，2025年，2月5日Viterbi算法图示第42页，共61页，星期日，2025年，2月5日学习问题HMM的学习问题： 已知一组观察序列(训练样本集合)： 如何确定最优的模型参数θ，使得模型产生训练集合V的联合概率最大 这同样是一个最大似然估计问题，需要采用EM算法。第43页，共61页，星期日，2025年，2月5日图示第44页，共61页，星期日，2025年，2月5日变量说明：表示在t-1时刻HMM处于状态ωi，并且从1?t-1时刻之间产生观察序列V1?t-1的概率；：表示在t时刻HMM处于状态ωj，并且从t+1?T时刻之间产生观察序列Vt+1?T的概率；第45页，共61页，星期日，2025年，2月5日变量说明输出观察序列VT时，在t-1时刻HMM处于ωi状态，在时刻t处于ωj状态的概率：第46页，共61页，星期日，2025年，2月5日前向-后向算法(Baum-Welch算法)迭代公式： 初始概率： 状态转移概率： 输出概率：第47页，共61页，星期日，2025年，2月5日HMM的其它问题连续HMM模型：在观察序列中每个观察值是一个特征矢量，相应的模型中输出概率b就需要用一个概率密度函数描述，其函数形式需要假设，通常使用GMM。训练问题：通常可以用每个训练样本分别计算γ值，然后分子和分母部分分别进行累加，最后统一进行参数修正；模型的拓扑结构：模型结构可以根据实际问题的需要来设计，在初始化状态转移矩阵A时，将某些元素设为0即可。第48页，共61页，星期日，2025年，2月5日“左-右”模型结构第49页，共61页，星期日，20