LDA模型的原理及其应用.pdf

LDA (Latent Dirichlet Allocation) 模型的原理及其应用 哈尔滨工业大学 智能技术与自然语言处理实验室 报告人：轩文烽 2010 – 12 – 15 提纲  背景  准备知识  LDA模型的原理  一个简单应用  Further Reading  一些有用的资源  主要参考资料 背景 对于给定的一个文档集合，我们想知道：  它们的内容包括哪些方面(topic)  每个主题随着时间的演化(evolution)  不同主题之间的联系(relationship) 直觉：文档集合的内容表现了多个主题 准备知识 概率分布  Bayesian Network  Expectation-Maximization (EM) 算法 Variational Inference 概率分布—多项分布 Question: 投掷一枚硬币，可能的结果 有两种：正面向上(1)和反面向上(0)。 现用随机变量Y 来表示这些结果，并设 P Y 1 p   . 那么投掷N 次硬币，其中k 次为正面向上的概率是多少？ N   k N k N ! k N k p 1p p q     k k ! N k !     q 1p p q 1 X k ,N k   推广：现在投掷N次骰子，已知在每次 p 投掷中i 向上的概率为 ，i = 1, 2, …, 6. i 6 p i 1 n 且 . 那么在N次中i 出现 次，i = 1, i i 1 2, …, 6 的概率是多少？ N !  6 n  6 p i i  n ! i 1  i i 1 6 6 p i 1 ni N X n ,n ,,n  1 2 6 i 1