学术报告1要点.pptVIP

文本分析中的参数估计 报告人：史庆伟 介绍离散概率分布贝叶斯估计的基本知识，便于理解基于主题的文本分析方法，如概率潜在语义分析（PLSA）、潜在狄利克雷分配（LDA）和其他混合模型方法。 文本分析中的参数估计 1 参数估计 2 共轭分布 3 Gibbs采样 1 参数估计 1.1 最大似然估计 1.2 最大后验估计 1.3贝叶斯估计 1 参数估计 有两个推断问题：（1）根据观察值，估计概率分布参数，使得参数为的概率分布能最好的描述观察值。（2）根据已有的观察值，计算新观察值的概率。 前面的问题属于参数估计问题，后面的问题属于预测或回归问题。 数据集 是随机变量 的 个独立观察值，认为是独立同分布。 是概率分布的参数，例如对于高斯分布，参数是 。 根据贝叶斯定理有 1 参数估计 1.1 最大似然估计 1.2 最大后验估计 1.3贝叶斯估计 1.1 最大似然估计 最大似然估计（Maximum Likehood，ML）是寻找参数使得似然函数值最大， 一般用对数似然简化，表示为 。最大似然参数估计问题可以写成： 最大似然参数估计问题就是解下面的方程组 ： 下面是一个伯努利试验的例子。伯努利试验可以描述为掷了N次硬币，C是观察的结果集，集合中的元素为1（正面）和0（反面），通