Vowpal Wabbit之LDA篇.pdfVIP

Vowpal Wabbit之LDA篇 项目团队：weibo广告算法组 主讲人：苏海波 大纲 1 来龙去脉 2 变分原理 33 VW 实现 统计语言模型 • 给定一个序列S=w1, w2, …, wL，估计概率 Pr(S) • n元语言模型: 一元语言模型 一元混合语言模型 PLSA模型 PLSA优缺点 LDA模型 几何解释 生成模型：汪老师写歌词 生成模型：PLSA  PLSA的图模型表达 LDA的图模型表达 大纲 1 来龙去脉 2 变分原理 33 VW 实现 EM算法 几何意义 E‐step • 固定θ计算 ，使得L(q, θ)最大化 期望是什么意思？ M‐step • 固定q(z)，计算θ，使得L(q, θ)最大化 优化过程 PLSA的EM求解 变分思路 与EM的思路一样 关键点：p(Z|X)  intractble, q(Z)来近似p(Z|X) 核心原理 最优化求解 Batch VB‐LDA 单篇doc的 topic分布 doc 中各个词 的topic分布 各个topic 的词 分布 Online VB‐LDA  对比Gibbs采样 各自算法对比 EM与VB极大似然差别 收敛性 解释：随机梯度下降算法 收敛到稳定解（目标函数是否是凸的?） 实验结果 图1：100,000条Wikipedia数据，online 比batch效果更好 图2 ：352,549条Nature数据，两者效果接近，online速度更快 1、mini-batch size较小时，学习率 和降权参数 较高时效果更好，反 之则相反 2、mini-batch size=256 比较小的size效果更好 大纲 1 来龙去脉 2 变分原理 33 VW 实现 核心代码和变量 核心代码和变量 核心代码和变量 核心代码和变量 LDA权重的效果‐‐TF LDA权重的效果—TF_IDF LDA权重的效果—TF_IDF归一化 VW系列分享 Vowpal Wabbit之实战篇 Vowpal Wabbit之设计篇 Vowpal Wabbit之模型篇—L1