latent dirichlet allocation (lda) 隐含狄利克雷分配同济大学计算机系.ppt

Latent Dirichlet Allocation (LDA)隐含狄利克雷分配 同济大学计算机系 提 纲 文本挖掘概述 文本建模方法 相关数学知识 隐含狄利克雷分配 文本挖掘概述 定义 从大量文本数据中抽取隐含的、未知的、可能有用的信息。（Text Mining） 研究意义 各类信息资源的存量和增长都呈现海量特征。 文本数据占据重要地位，如Web中99%的可分析信息以文本形式存在。 文本挖掘概述 文本挖掘模型 文本建模方法 分类 文本建模方法 BOW 自然语言处理和信息检索中常用的简化假设。 文本表示为词的无序集。 不考虑文法和词的前后顺序。 延伸：主题模型（Topic Modeling） 布尔模型 布尔模型 20世纪50年代 理论基础：经典集合论和布尔逻辑 布尔模型 优点 简单、易理解、易实现 广泛应用于商业的信息检索系统 缺点 二值判定准则，不支持部分匹配和分级 完全忽略词频，信息丢失严重 检索信息需求不易转化为布尔表达式 向量空间模型 VSM Salton等 1968年提出，代表系统SMART 文本表示成项的权重向量 向量空间模型 权重计算 向量空间模型 相似度计算 向量空间模型 优点 固定不定长文本的长度 支持各种权重策略 支持部分匹配和相似性排序 缺点 项与项之间的独立性假设欠合理 没有考虑同义词和多义词现象 隐含语义索引 LSI Deerwester等 1990年提出 利用奇异值分解（Singular Value Decomposition, SVD）保留原来“项-文档”关联矩阵的主要模式 估计潜在的语义结构，摆脱含混的“噪声” 向量空间降维到隐含语义空间 隐含语义索引 SVD 隐含语义索引 隐含语义索引 隐含语义索引 隐含语义索引 隐含语义索引 隐含语义索引 隐含语义索引 隐含语义索引 优点 支持概念，结构简单清楚 处理同义词问题 缺点 物理意义不明确 SVD计算复杂性高 只能部分解决多义词问题 概率隐含语义索引 PLSI Hofmann等 1999年提出 理论基础：概率论 将项和文档同等对待，构造一个语义空间，将每个项和文档都映射到这个语义空间 采用期望最大化（EM）迭代算法实现映射过程 概率隐含语义索引 独立性假设 观察对（文档,项）是独立生成的 条件独立性假设：隐含类和项是不依赖于特定的文档生成的 概率隐含语义索引 生成模型 概率隐含语义索引 概率隐含语义索引 似然估计 根据贝叶斯法则有 对数似然函数（最大化） 概率隐含语义索引 与LSI的关系 概率隐含语义索引 EM E步 M步 概率隐含语义索引 概率隐含语义索引 实例 概率隐含语义索引 概率隐含语义索引 概率隐含语义索引 新文档的处理 EM训练得到p(z)、p(d|z)和p(w|z)等参数 对于新文档，再次运用EM，只更新p(z)和p(d|z)，p(w|z)保持不变 根据 使得p(zk|dnew)最大的zk即dnew所属的主题 概率隐含语义索引 优点 基于概率统计，语义空间具有明确的物理意义 能处理多义词问题 缺点 不支持大规模语料（模型参数同文档数成正比） 没有解决为未知文档分配主题概率的问题 概率隐含语义索引 VSM、LSI和PLSI比较 隐含狄利克雷分配 LDA Blei等 2002年提出 一种全概率生成模型 一种三层贝叶斯产生式模型 主题为词汇的概率分布，文档为主题的随机混合 隐含狄利克雷分配 优点 具有清晰的内在结构 支持大规模语料库 解决新文档主题概率分配的问题 缺点 不易理解 在监督学习环境下表现欠佳 相关数学知识 伽玛函数(Gamma function) 阶乘函数的推广 对于复数z （Re(z)0） 对于正整数n 相关数学知识 贝塔函数(Beta function) 又称为第一类欧拉积分 对于x和y，要求Re(x)0，Re(y)0 与伽玛函数的关系 相关数学知识 狄利克雷分布(Dirichlet distribution) 以德国数学家Dirichlet命名 记作Dir(α)，参数 概率密度函数 有： 相关数学知识 Dirichlet分布-f k=3 相关数学知识 Dirichlet分布-log(f) k=3 相关数学知识 共轭先验分布(Conjugate prior distribution) 相关数学知识 可交换性(Exchangeability) de Finetti理论，解释独立性和可交换性的数学关系 随机变量有限集合 ，π为1至N的排列 z1,z2,…,zN可交换 强弱关系 相关数学知识 可交换性(Exchangeability) 相关数学知识 相对熵(Kullback–Leibler Divergence) 库尔贝克和莱伯勒提出 衡量两个正函数是否相似，完全相同则为