从二项式分布到多项式分布-从Beta分布到Dirichlet分布.docVIP

从二项式分布到多项式分布-从Beta分布到Dirichlet分布 一、前言 参数估计是一个重要的话题。对于典型的离散型随机变量分布：二项式分布，多项式分布；典型的连续型随机变量分布：正态分布。他们都可以看着是参数分布，因为他们的函数形式都被一小部分的参数控制，比如正态分布的均值和方差，二项式分布事件发生的概率等。因此，给定一堆观测数据集（假定数据满足独立同分布），我们需要有一个解决方案来确定这些参数值的大小，以便能够利用分布模型来做密度估计。这就是参数估计！ 对于参数估计，一直存在两个学派的不同解决方案。一是频率学派解决方案：通过某些优化准则（比如似然函数）来选择特定参数值；二是贝叶斯学派解决方案：假定参数服从一个先验分布，通过观测到的数据，使用贝叶斯理论计算对应的后验分布。先验和后验的选择满足共轭，这些分布都是指数簇分布的例子。 参数估计方法的一个限制：是我们人为的假定了参数分布服从了某种指定形式的分布函数，这可能在某些特定情况下是不合适的。有一种可选的解决方案是：无参密度估计，他只依赖于观测数据量的大小，这种方法其实也需要参数，但是这些参数只是控制了模型的复杂性而不是分布的函数形式。有三种无参密度估计方法：直方图，最近邻，核函数。（可能在以后的博文中讲述） 本文从以参数估计为目标出发，从二项式分布讲述到多项式分布，从Beta分布讲述到Dirichlet分布。（有关离散型随机变量分布正态分布可能在以后博文中讲述） 二、二项式分布与Beta分布 二项式分布源自对二元变量的研究。 1）二元变量-贝努力实验 对于一次贝努力抛硬币实验中有两个结果，我们令x=1是正面，x=0是负面，令是正面的概率为u，则有： p(x?=?1|μ)?=?μ????（2.1）则x的概率分布可写成如下形式： （2.2）这就是贝努力分布（注意是一次实验），它有均值和方差为： E[x]?=?μ???（2.3） var[x]?=?μ(1???μ).????（2.4） 现在假定有一个x的观测数据集D={x1,,xN}，那么我们能够构造出参数u的似然函数： （2.5） 根据频率学派的思路，我们可以通过最大化似然函数来估算出参数u的值。我们选择最大化似然函数的Log，则对于贝努力分布，Log似然函数为： （2.6） 求关于u的导并将导数设置为0可求得： （2.7）去掉前面的1/N，右边的式子有个名字叫充分统计量，这里可用m表示，即N次贝努力实验中m次出现 所以可得到参数u的最有可能值：（2.8） 现在假设N=m=3，那么u=1，很明显与我们的经验值不符合，因此在小的的观测数据集下，最大化似然函数的方法容易与观测数据过度拟合。为了解决这个问题，可以根据贝叶斯学派的观点，引入参数的先验概率分布。见下文详解 2）二项式分布 在大小为N的数据集中（N重贝努力实验），以x=1的数据出现的次数为随机变量，他服从二项式分布： （2.9）其中（2.10） 注意：二项式分布也可以作为参数u的似然函数，注意N次贝努力实验中式子2.5也是作为似然函数。 我们分别可以得到二项式分布的随机变量的期望和方差，如下：（期望=随机变量的值*概率） 为什么要引入二项式分布呢？继续 3）Beta分布 我们需要用贝叶斯理论求得参数u的值，需要给u一个先验分布，然后用贝叶斯理论求得u的后验分布，进而估计u值。那么，该选用什么样的分布作为先验分布呢？通过观察似然函数u与(1-u)乘积的形式，我们选用了Beta分布作为u的先验分布，因为根据贝叶斯理论，后验=似然函数*先验，我们发现当后验与先验同时具有相同的分布时具有一些优秀的性质，能使我们方便的进行u的估算，现在，似然函数可以如式2.9，当先验选择Beta分布时，后验正好也是Beta分布。 Beta分布： （2.13） 其中，2.13式左边的系数为为了确保beta分布是归一化的： （2.14）我们注意到参数u随机变量的取值在0到1之间 可求得随机变量的期望和方差： a与b的值是参数u的分布中的参数，称之为超参数。 现在，参数的u的后验分布可以通过似然函数（2.9）乘以先验分布（2.13）来得到，得到的结果只保留与参数u相关的项得： （2.17）其中l=N-m。 加入归一化系数后得： （2.18） 可看到后验同样是beta分布，当先验和后验是同一分布时，我们称之为共轭。 仔细观测，他拥有优秀的性质： 1?观测以Gamma函数为分子分母的系数，参数a,b可分别看作事件x=1，x=0的有效观测量。a的值通过m的增加而增加，b的值通过l的值增加而增加（比较2.13和2.18两个式子的Gamma系数，可这样理解：a—?a+m，b—?b+l） 2?如果以后有新增的观测值，后验分布又可作为先验分布来进行计算。具体来讲，在某一个时间点，有一个观测值，此时可以得到后验，之后，每