Latent Dirichlet Allocation note.pdfVIP

Latent dirichlet allocation note By: Zhou Li (smzlkimi@) Blog: CodeDoc: /p/lsa-lda/ July 31, 2009 1 基础知识：贝叶斯统计 假设有两个箱子，每个箱子装了8 个球，A 箱子3 个红球5 个白球，B 箱子6 个红球2 个白 球。如果问从A 箱子摸出一个红球的概率，那么答案是3/8，如果问从B 箱子摸出一个白球 的概率，那么为2/8 。这样的正向推理很简单。但是如果问摸出一个红球，它是从A 箱子中 摸出的概率是多少，这又如何求呢？贝叶斯方法正是用来求这种”逆”概率。 P(X,Y)表示X,Y 的联合概率，有如下公式P(X,Y)=P(Y|X)P(X)，由于P(X,Y)=P(Y,X)，于是我们得到 P(Y|X)P(X)=P(X|Y)P(Y)，将左边P(X)移到右边得到： 这就是贝叶斯公式，其中P(Y|X)称为后验分布，P(X)称为先验分布，P(X|Y)称为似然函数。 贝叶斯问题的详细描述可以参考Pattern Recognition and Machine Learning[1].该书第一章对 贝叶斯方法做了详细的解释。 下面讨论一个概率问题，一对夫妇有两个孩子，已知其中一个是男孩，问另一个也是男孩的 概率？ 令A=另一个也是男孩 B=已知其中一个是男孩 由贝叶斯：P(A|B) = P(B|A)P(A)/P(B) 其中 P(B|A) = 1 ，因为另一个也是男孩，表示两个都是男孩。 P(A) = 0.25 即如果有两个孩子，两个都是男孩的概率0.25 P(B) = 0.75 即如果有两个孩子，那么其中一个是男孩的概率为0.75 因此P(A|B) = 1*0.25/0.75=1/3 1.1 基础知识：Dirichlet distribution 假设我们在和一个不老实的人玩掷骰子游戏。按常理我们觉得骰子每一面出现的几率都是 1/6，但是掷骰子的人连续掷出6，这让我们觉得骰子被做了手脚，而这个骰子出现6 的几 率更高。而我们又不确定这个骰子出现6 的概率到底是多少，所以我们猜测有50%的概率是： 6 出现的概率2/7，其它各面1/7；有25%的概率是：6 出现的概率3/8，其它各面1/8；还 有25%的概率是：每个面出现的概率都为1/6，也就是那个人没有作弊，走运而已。用图表 表示如下： 我们所猜测的值，如果设为X 的话，则表示X 的最自然的分布便是Dirichlet distribution。设 随机变量X 服从Dirichlet 分布，简写为Dir(α)，即X~Dir(α)。Α是一个向量，表示的是某个事 件出现的次数。比如对于上例，骰子的可能输出为{1,2,3,4,5,6}，假设我们分别观察到了5 次 1~5，10 次6，那么α= {5,5,5,5,5,10} 。X 则表示上例中的各种概率组合，比如{1/7,1/7,1/7, 1/7,1/7,2/7}；{1/8, 1/8, 1/8, 1/8, 1/8, 3/8} ；{1/6, 1/6, 1/6, 1/6, 1/6, 1/6}，那么P(X)则表示了该 概率组合出现的概率，也就是概率的概率。 以下是公式： 下图来自WIKI[2] ，图像化了当K=3 时的dirichlet 分布。 Dirichlet 分布的重要性质： Dirichlet 分布是多项分布的共轭分布，也就是说，先验分布为Dirichlet 分布，似然函数为多 项分布，那么后验分布仍为Dirichlet 分布。 在LDA 中，Dirichlet 分布是为了描述文档—主题层面的概率分布，一个文档由多个主题组成， 而Dirichlet 分布描述了主题集合的分布。具体将在后面讨论。 之所以选择Dirichlet 分布是因为其共轭特性大大减小了计算量。 1.2 基础知识：Expectation-Maximization (EM) Algorithm[3][4] EM 算法是用来计算极大似然估计。EM 有两个主要应用环境，第一个是观测到的数据不完 整或其它原因导致数据丢失，第二个是似然函数无法直接计算但可以用隐含变量表示。LDA 中的参数估计属于后者。 概括的说，EM 算法首先随机给每个参数赋值，然后迭代的执行两个步骤，分别叫做E-STEP 和M-STEP 。在E-STEP，EM 算法计算出期望的似然函数，