学术报告1概要.ppt

文本分析中的参数估计 报告人：史庆伟 介绍离散概率分布贝叶斯估计的基本知识，便于理解基于主题的文本分析方法，如概率潜在语义分析（PLSA）、潜在狄利克雷分配（LDA）和其他混合模型方法。 文本分析中的参数估计 1 参数估计 2 共轭分布 3 Gibbs采样 1 参数估计 1.1 最大似然估计 1.2 最大后验估计 1.3贝叶斯估计 1 参数估计 有两个推断问题：（1）根据观察值，估计概率分布参数，使得参数为的概率分布能最好的描述观察值。（2）根据已有的观察值，计算新观察值的概率。 前面的问题属于参数估计问题，后面的问题属于预测或回归问题。 数据集 是随机变量 的 个独立观察值，认为是独立同分布。 是概率分布的参数，例如对于高斯分布，参数是 。 根据贝叶斯定理有 1 参数估计 1.1 最大似然估计 1.2 最大后验估计 1.3贝叶斯估计 1.1 最大似然估计 最大似然估计（Maximum Likehood，ML）是寻找参数使得似然函数值最大， 一般用对数似然简化，表示为 。最大似然参数估计问题可以写成： 最大似然参数估计问题就是解下面的方程组 ： 下面是一个伯努利试验的例子。伯努利试验可以描述为掷了N次硬币，C是观察的结果集，集合中的元素为1（正面）和0（反面），通过观察结果集，估计参数p（出现某种结果的可能性 ）。对于一次随机试验，概率密度函数可以写成： 对数最大似然函数可以写成： 对p求导，让所得方程等于0，求得参数p使得似然函数值最大。 参数p的值是：出现正面的次数 除以总掷硬币次数N。例如，掷20次硬币，出现12次正面，8次反面，最大似然估计的结果是 最大后验估计（Maximum a posteriori, MAP）与最大似然估计类似，只是在估计参数时加入了先验信息，先验信息来自于经验和历史资料，下面是一个例子： 一个音乐家声称，他能从乐谱中分辨出是海顿还是莫扎特的作品，十次他都说对了。 先验信息对推断有帮助，应加以利用。先验信息用先验分布表示。 最大后验估计表示为 根据贝叶斯规则有： 重新考虑上面的伯努利实验，硬币可能不均匀，出现正面的概率p可能在0.5左右，可以认为p是随机变量，服从某种分布，即先验分布。可以认为p服从参数为的贝塔分布，可以写成： 贝塔函数 下图是不同参数的贝塔分布的概率密度函数。 在掷硬币实验中，掷硬币之前我们认为硬币是均匀的，出现正面的概率是0.5，超参数取值为5，即 ，做N次实验后估计后验分布的正面出现概率p 后验参数估计结果由两个因素决定：先验分布中的参数和观察值n(c)， n(c)决定后验参数估计值p偏离先验参数估计值p的程度，先验分布参数决定p取某个值可能性的大小，先验分布参数的值越大，概率密度函数越集中在p附近。 上面的例子中，20次试验，出现正面12次，反面8次，则最大后验估计 而用最大似然估计的结果是 =0.6，说明了先验分布对参数估计的影响。 贝叶斯估计扩展了MAP方法，不是直接估计后验分布参数，而是用后验分布参数的分布的期望和方差来描述要估计的参数。贝叶斯估计不在考虑最大值，而是将观察值 考虑进来。 继续前面的伯努利试验，掷了N次硬币，观察集用C表示，先验分布为贝塔分布， 参数取值为5，即 ，估计参数p概率分布的期望和方差。 贝塔分布函数形式： 贝塔分布期望和方差是： 所以： MAP估计的结果是最大值，贝叶斯估计的结果是期望。如果随机试验次数和先验分布参数趋向于无穷大，则贝叶斯估计的期望逼近pMAP，下图说明了伯努利试验的最大似然估计、最大后验估计和贝叶斯估计的结果。 文本分析中的参数估计 1 参数估计 2 共轭分布 3 Gibbs采样 贝叶斯估计中可能会遇到很多难于计算的问题，例如贝叶斯公式中分母 的求和或积分，存在未知变量等。贝叶斯模型推断中可以使用共轭先验分布简化计算。 2 共轭分布 2.1 共轭 2.2 多变量情况 2.3 文本建模 2.1 共轭 设 是先验分布、 是似然函数（应该是对应于样本信息）、 是由先验分布和似然函数得到的后验分布，如果 和 属于相同的分布族，只是参数不同， 那么就是参数 的共轭先验分布。 除了计算简单，共轭还很好解释了超参数的意义。在伯努利试验中，后验分布的结果可以看成是在先验分布参数 （假想的伯努利