第6章_贝叶斯学习与EM算法精读.ppt

* * * * 先是乘法规则，如果A1、A2独立则进一步简化。 * 隐马尔科夫模型)是一种用参数表示的用于描述随机过程统 计特性的概率模型, 是一个双重随机过程, 由两个部分组成:马尔可夫链和一般随机过。 其 中马尔可夫链用来描述状态的转移，用转移概率描述。一般随机过程用来描述状态与观察序列间的关系，用观察值概率描述。 最大期望算法（Expectation-maximization algorithm，又译期望最大化算法）在统计中被用于隐性变量的概率模型中，参数的最大似然估计。 寻找，依赖于不可观察的 * 期 望 ?g: 估计 期 望 当yi ? l 为0 期 望 期 望 期 望 1 最大化 给定初始估计值 ?g, 需要找到合适参数 ?, 使得期望最大化 实际上, 就是反复迭代. 混合高斯模型 高斯模型为 d 维，第 j个模型 可表示为: 该GMM有 M 个模型: 目 标 混合模型 其中， 最大化: 目 标 混合模型 其中 最大化: 仅与 ?l 相关. 仅与 ?l 相关. 求 ?l 由于有 ?l的约束,为典型求条件极值问题，故引入拉格朗日乘子 ?, 并构成以下等式. 求?l 1 N 1 求 ?l 求 ?l Only need to maximize this term 考虑 GMM unrelated 求 ?l Only n