12.1主题模型LDA概述.pptVIP

主题模型LDA 北京10月机器学习班 邹博 2014年11月16日 主要内容和目标 共轭先验分布 Dirichlet分布 unigram model LDA Gibbs采样算法 随机变量的分布 思考 尝试计算X(k)落在区间[x,x+Δx]的概率： 划分为3段 事件E1的概率 事件E2：假设有2个数落在区间[x,x+Δx] 只需要考虑1个点落在区间[x,x+Δx] X(k)的概率密度函数 补充：Γ函数 Γ函数是阶乘在实数上的推广 利用Γ函数 增加观测数据 思考过程 思考过程 共轭分布 Beta分布的概率密度曲线 直接推广到Dirichlet分布 贝叶斯参数估计的思考过程 共轭先验分布 在贝叶斯概率理论中，如果后验概率P(θ|x)和先验概率p(θ)满足同样的分布律，那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。 In Bayesian probability theory, if the posterior distributions p(θ|x) are in the same family as the prior probability distribution p(θ), the prior and posterior are then called conjugate distributions, and the prio