对数Viterbi算法初始化.PPT

例子 小结 一阶马尔可夫链 隐马尔可夫模型（HMM） HMM的三大核心问题 估值问题 HMM向前算法 HMM向后算法 解码问题 Viterbi算法 对数Viterbi算法 学习问题 向前向后算法 小结 贝叶斯置信网是描述特征之间因果关系的有向无环图 根据贝叶斯置信网计算联合概率 证据 给定证据下的置信度 小结 期望最大化（EM）算法 E步 M步 * * * * 黑板画示意图 在黑板上画转移图 书上的算法直接基于向前算法中的alpha，不对 psi * 书上的算法直接基于向前算法中的alpha，不对 gama * * * * * * * E_x(f(x))=\Int f(x)p(x) dx 第一项，p(x_41)的全局积分为1 证据 简单情况 直接表示变量i的取值 置信度 对固定的e， 为常数 例子1 鱼分类置信网 0.6 0.2 0.2 0.2 0.3 0.5 例子1 南大西洋捕获一条光亮的鱼，判断鲑鱼还是鲈鱼？ 0.6 0.2 0.2 0.2 0.3 0.5 例子1 南大西洋捕获一条光亮的鱼，判断鲑鱼还是鲈鱼？ a未知 b2=南大西洋 c1=光亮 d未知 先求x1=鲑鱼的概率 e: 例子1 南大西洋捕获一条光亮的鱼，判断鲑鱼还是鲈鱼？ a未知 b2=南大西洋 c1=光亮 d未知 归一化（使得 ） 因 ，所以判断为鲑鱼 再求x2=鲈鱼的概率 例子2 你在家里安装了一套防盗系统 该系统对入室盗窃检测很敏感，但有时地震也能触发报警 你有两个邻居：Ali和Veli。当你不在家的时候，他们如果听到报警声，会给你打电话 Ali听到报警声就会给你打电话，但是有时他会把电话铃声认为是报警声而给你打电话 Veli经常在家听音乐，所以有时听不见报警声 根据哪个邻居打了电话给你，你是否能够估计家里真的被入室盗窃的概率？ 例子2 建模 例子2 系统报警，但是既没有盗窃也没有地震发生，并且Ali和Veli都打电话给你 例子2 计算如下事件的概率 系统报警，但是既没有盗窃也没有地震发生，并且Ali和Veli都打电话给你 例子2 如果Ali打电话给你，计算发生盗窃的置信度 例子2 如果Ali打电话给你，计算发生盗窃的置信度 方法一 归一化 例子2 如果Ali打电话给你，计算发生盗窃的置信度 方法二 例子2 如果Ali和Veli都打电话给你，计算发生盗窃的置信度 例子2 如果Ali和Veli都打电话给你，计算发生盗窃的置信度 例子3 草地变湿可能有两个原因：洒水装置打开过，或者下过雨 如果阴天，则下雨的可能比晴天大 如果阴天，打开洒水装置的可能较小 假设阴天和晴天等概率 例子3 建模 例子3 如果看到草地是湿的，判断洒水装置和下雨哪个原因更为可能？ 例子3 如果看到草地是湿的，判断洒水装置和下雨哪个原因更为可能？ 因为 ，所以下雨造成草地湿的可能性更大 例子3 如果看到草地是湿的，并且当时天气晴朗呢？ 例子3 如果看到草地是湿的，并且当时天气晴朗呢？ 因为 ，所以洒水造成草地湿的可能性更大 朴素贝叶斯规则 当特征之间的依赖关系未知的时候，常常假设给定类别条件下各个特征条件独立 在此假设下的贝叶斯规则称为“朴素贝叶斯规则”（na?ve Bayes rule）或者“傻瓜贝叶斯规则”（idiot Bayes rule） 朴素贝叶斯置信网 Part 3 期望最大化（EM）算法 缺失的特征 假设有一个基于特征向量x的贝叶斯分类器，每一个x中的一部分特征xg是可见的，而剩下的特征xb缺失，不同样本中缺失特征可能不同 如何做决策？ 方法一 直接扔掉含有缺失值的样本 方法二 用其他已知该特征的样本均值 替换xb，即令 期望最大化 方法三 通过扩展最大似然法，可以在训练集中有缺失值的情况下，对模型参数进行学习 期望最大化（expectation-maximization, EM）算法可根据已有数据递归估计似然函数 EM算法的两个主要应用 在数据不完整或有缺失值的情况下学习 当似然方程难以直接求解时，初始化某些未知参数使问题简化 期望最大化 假设样本x服从某种分布 ，其中 为未知参数向量 样本集 ，其中