主题模型.pdf

Machine Learning 读书会第8期 主题模型简介 沈志勇 Data scientist @ IDL.Baidu 合办方：超级计算大脑研究部@ 自动化所 2013/12/8 rakecas@ outline • What’s topic model – 来龙去脉 – 相关模型的比较 • Learning topic model – 来自模型的痛苦 – 来自数据的痛苦 • Using topic model – 参数的使用 – 模型层面的利用：表达能力、学习机制等 2013/12/8 rakecas@ 来龙去脉 LSA(I) 全称：Latent Sematic Analysis (Indexing) 优势：刻画近义词，计算word和doc的距离 （Deerwester,1990 ） 概率化 全称：probabilistic Latent Semantic Analysis (Index) pLSA(I) 优势：更好刻画一词多义，用多项式分布描述词频向量 （Hofmann,1999 ） 贝叶斯化 （狭义） LDA 全称：Latent Dirichlet Allocation 优势：贝叶斯化带来的各种好处（后面细说） （Blei,2003 ） 非参数化 全称： Hierarchical Dirichlet Process HDP 优势：自动确定topic的个数 2013/12/8 （Teh,2005 ） rakecas@ 什么是Topic Model？ 是一种概 率图模型 是一种聚 类 描述了共 是一种降 现关系 维 是一种矩 是一种生 阵分解 成模型 2013/12/8 rakecas@ 生成模型：汪老师写歌词 2013/12/8 rakecas@ （来自@于弦cos 微博图片） 生成模型：PLSA Topic z p( w|z)