logo

您所在位置网站首页 > 海量文档  > 计算机 > 数据结构与算法

EM算法及其推广.pdf 46页

本文档一共被下载: ,您可全文免费在线阅读后下载本文档。

  • 支付并下载
  • 收藏该文档
  • 百度一下本文档
  • 修改文档简介
全屏预览

下载提示

1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值,立即自动返金币,充值渠道很便利
特别说明: 下载前务必先预览,自己验证一下是不是你要下载的文档。
  • 上传作者 小茗(下载加QQ:506618349)(上传创作收益人)
  • 发布时间:2019-04-26
  • 需要金币6(10金币=人民币1元)
  • 浏览人气
  • 下载次数
  • 收藏次数
  • 文件大小:1.92 MB
下载过该文档的会员
目录 1. EM 算法的引入 2. EM 算法的收敛性 3. EM 算法在高斯混合模型学习中的应用 4. EM 算法的推广
你可能关注的文档:
目录 1. EM 算法的引入 2. EM 算法的收敛性 3. EM 算法在高斯混合模型学习中的应用 4. EM 算法的推广 一、EM 算法的引入 EM 算法 EM 算法的导出 EM 算法在非监督学习中的应用 三硬币模型 三硬币模型:硬币A 、B、C,正面概率π ,p ,q , A 正面时选B,反面选C, 得到结果:1101001011 问题:只能看结果,不能看中间过程,估算π ,p ,q , 解:模型 随机变量Y是观测变量,表示一次试验观测的结果是1或 0 ,随机变量z是隐变量,表示未观测到的掷硬币A 的结 果,这一模型是以上数据的生成模型。 三硬币模型 观测数据: 未观测数据: 似然函数: 即: 极大似然估计: 该问题没有解析解,EM迭代法: EM算法 选取初值: 第i步的估计值: EM算法第i+1次迭代: E步:计算在模型参数 下观测数据yi来自掷 硬币B的概率: M步: 计算模型参数的新估计值 EM算法 初值: 利用迭代公式,得: 继续迭代,得: 得到模型参数的极大似然估计: EM算法 如果取初值: 完全数据 complete-data 不完全数据 incomplete-data EM算法 输入:观测变量数据Y,隐变量数据Z ,联合分布P(Y,Z |Θ) 条件分布P(Z |Y, Θ) 输出:模型参数Θ 给定观测数据Y和当前参数估计Θ EM算法 Q函数定义: 完全数据的对数似然函数logP(Y,Z |Θ)关于在给定观测数 据Y和当前函数Θ(i)下对未观测数据Z 的条件概率分布 P(Z |Y, Θ(i)),的期望称为Q函数,即: EM算法 算法说明: 步骤3 ,完成一次迭代:Θ(i)到Θ(i+1) ,将证明每次迭代使 似然函数增大或达到局部最大值。 步骤4 ,停止迭代的条件 或 EM算法的导出 为什么EM算法能近似实现对观测数据的极大似然估 计? 极大化(不完全数据)Y关于参数Θ的极大似然函数: 难点:有未观测数据,包含和的对数。 EM通过迭代逐步近似极大化L( Θ),希望 EM算法的导出 考虑二者的差: Jason不等式: EM算法的导出 令: 则: 选择: EM算法的导出 省去和Θ无关的项: EM算法的解释 L(Θ)开始 EM在非监督学习中的应用 生成模型由联合概率分布P(X,Y)表示,可以认为非监督 学习训练数据是联合概率分布产生的数据,X为观测数 据,Y为未观测数据。 二、EM算法的收敛性 EM ,提供一种近似计算含有隐变量概率模型的极大似 然估计的方法, EM ,最大优点:简单性和普适性; 疑问: 1 、EM算法得到的估计序列是否收敛? 2、如果收敛,是否是全局极大值或局部极大值? EM算法的收敛性 两个收敛定理: 定理9.1 :设P(Y |Θ)为观测数据的似然函数,Θ(i)(i=1,2..) 为EM参数估计序列, ,为对应的似 然函数序列,则P(Y |Θ(i))是单调递增的,即: 证明:由 由: EM算法的收敛性 令: 则: 得: 只需证右端非负 EM算法的收敛性 前半部分,Θ(i+1)为极大值,所以 后半部分: EM算法的收敛性 定理9.2: 设L(Θ)=logP(Y |Θ),为观测数据的对数似然函数,Θ (i)(i=1,2..)为EM算法得到的参数估计序列,L(Θ(i))为对 应的对数似然函数序列, 1 、如果P(Y |Θ)有上界,则L(Θ(i)) =logP(Y |Θ(i))收敛到某 一值L* ; 2、在函数Q(Θ, Θ’)与L(Θ)满足一定条件下,由EM算法 (i) * 得到的参数估计序列Θ 的收敛值Θ 是L(Θ)的稳定点。 三、EM算法在高斯混合模型学习 中的应用 高斯混合模型: 概率分布模型; 系数: 高斯分布密度: 第K个分模型:

发表评论

请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
用户名: 验证码: 点击我更换图片

“原创力文档”前称为“文档投稿赚钱网”,本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有【成交的100%(原创)】。原创力文档是网络服务平台方,若您的权利被侵害,侵权客服QQ:3005833200 电话:19940600175 欢迎举报,上传者QQ群:784321556