LDA主题模型浅析-刘宇-2018-07-01-19_00_00.pdf

ThenameoftheDepartmentBeijingForestStudio

北京理工大学信息系统及安全对抗实验中心部门名称

LDA主题模型浅析

刘宇硕士

2018年07月01日

内容提要

•背景简介

•基本概念

•Gamma函数

•四个分布

•主题模型

•优劣分析

•应用总结

•参考文献

2

LDA主题模型浅析

背景简介

背景简介

•在机器学习领域，LDA是两个常用模型的简称：

–LinearDiscriminantAnalysis（线性判别分析）

–LatentDirichletAllocation（隐含狄利克雷分布）

•LDA是由戴维·布雷、吴恩达和迈克尔·乔丹于2003年

提出，用来推测文档的主题分布。它可以将文档集中每篇

文档的主题以概率分布的形式给出，从而通过分析一些文

档抽取出他们的主题分布后，便可以根据主题分布进行主

题聚类或文本分类。

4

背景简介

•LDA是一种典型的词袋模型，假设一篇文档是由一组词

构成，词与词之间独立没有先后顺序的关系。假设一篇文

档可以包含多个主题，文档中每一个词都由其中一个主题

生成。

5

LDA主题模型浅析

基本概念

基本概念——Gamma函数

•起源：阶乘在实数上的推广



•定义：xtx1etdt

0

•性质：

–递归性质：

xx

1x

–阶乘表示：

nn1!



•Gamma函数不仅可以定义

在实数集上，还可以延拓到

整个复平面上

7

基本概念——二项分布

•二项分布是从伯努利分布推进的。伯努利分布，又称两点

分布或0-1分布，是一个离散型的随机分布，其中随机变

量只有两类取值，非正即负。而二项分布即重复n次的伯

努利实验，记为X~b(n,p)。

•二项分布的概率密度函数为

n

knk

PKkp1p

k

