主题模型LDA.PPTVIP

主题模型LDA 北京10月机器学习班 邹博 2014年11月16日 主要内容和目标 共轭先验分布 Dirichlet分布 unigram model LDA Gibbs采样算法 随机变量的分布 思考 尝试计算X(k)落在区间[x,x+Δx]的概率： 划分为3段 事件E1的概率 事件E2：假设有2个数落在区间[x,x+Δx] 只需要考虑1个点落在区间[x,x+Δx] X(k)的概率密度函数 补充：Γ函数 Γ函数是阶乘在实数上的推广 利用Γ函数 增加观测数据 思考过程 思考过程 共轭分布 Beta分布的概率密度曲线 直接推广到Dirichlet分布 贝叶斯参数估计的思考过程 共轭先验分布 在贝叶斯概率理论中，如果后验概率P(θ|x)和先验概率p(θ)满足同样的分布律，那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。 In Bayesian probability theory, if the posterior distributions p(θ|x) are in the same family as the prior probability distribution p(θ), the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood function. 共轭先验分布的提出 某观测数据服从概率分布P(θ)时， 当观测到新的X数据时，有如下问题： 可否根据新观测数据X，更新参数θ 根据新观测数据可以在多大程度上改变参数θ θ? θ+ Δθ 当重新估计θ的时候，给出新参数值θ的新概率分布。即：P(θ|x) 分析 根据贝叶斯法则 P(x|θ)表示以预估θ为参数的x概率分布，可以直接求得。P(θ)是已有原始的θ概率分布。 方案：选取P(x|θ)的共轭先验作为P(θ)的分布，这样，P(x|θ)乘以P(θ)然后归一化结果后其形式和P(θ)的形式一样。 举例说明 投掷一个非均匀硬币，可以使用参数为θ的伯努利模型，θ为硬币为正面的概率，那么结果x的分布形式为： 其共轭先验为beta分布，具有两个参数α和β，称为超参数（hyperparameters）。简单解释就是，这两个参数决定了θ参数。?? Beta分布形式为 先验概率和后验概率的关系 计算后验概率 归一化这个等式后会得到另一个Beta分布，即：伯努利分布的共轭先验是Beta分布。 伪计数 可以发现，在后验概率的最终表达式中，参数α和β和x，1-x一起作为参数θ的指数。而这个指数的实践意义是：投币过程中，正面朝上的次数。因此， α和β常常被称作“伪计数”。 推广 二项分布?多项分布 Beta分布?Dirichlet分布 Dirichlet分布的定义 Dirichlet分布的分析 α是参数，共K个 定义在x1,x2…xK-1维上 x1+x2+…+xK-1+xK=1 x1,x2…xK-10 定义在(K-1)维的单纯形上，其他区域的概率密度为0 α的取值对Dir(p| α)有什么影响？ Symmetric Dirichlet distribution A very common special case is the symmetric Dirichlet distribution, where all of the elements making up the parameter vector have the same value. Symmetric Dirichlet distributions are often used when a Dirichlet prior is called for, since there typically is no prior knowledge favoring one component over another. Since all elements of the parameter vector have the same value, the distribution alternatively can be parametrized by a single scalar value α, called the concentration parameter(聚集参数). 对称Dirichlet分布 对称Dirichlet分布的参数分析 α=1时 退化为均匀分布 当α1时 p1=p2=…=pk的概率增大 当α1时 p1=1，pi=0的概率增大 参数α对Dirichlet分布的影响 参