高斯分布.ppt

Chp9：参数推断 主要内容 参数推断的基本概念 参数推断的方法 矩方法 极大似然估计（Maximum Likelihood Estimator, MLE ） MLE的性质 参数推断 假设已知模型的函数形式 其中 为参数空间 目标： 估计参数 例子 一些流行的参数模型的例子： 线性判别分别（LDA） (分类) 混合高斯模型 (密度估计) 高斯噪声模型 (回归) 参数估计 假设有一类模型函数 ，如所有的高斯函数的集合，其参数参数空间为 。 通常我们只对一些函数 感兴趣，如均值或均值的函数。因此 为感兴趣参数(parameter of interest)， 为冗余参量(nuisance parameter)。 有多种方法可用来估计模型的参数 矩估计法 极大似然估计：更流行 贝叶斯方法 矩方法 矩方法得到的估计虽然不是最优的，但是很容易计算 当其他方法不可用时，可用矩方法 可用作很多迭代算法的初始值 基本思想：矩匹配 对真正的矩和样本矩进行匹配 矩方法 j阶矩： j阶样本矩： 矩方法：取前k阶矩 例：Bernoulli分布 令 ， 一阶矩 一阶样本矩 所以我们得到估计 例：高斯分布 令 ，参数为 ， 一阶矩 一阶样本矩 二阶矩 二阶样本矩 所以 极大似然估计（MLE） 极大似然估计 似然函数 对似然函数求最大值 极大似然估计的性质 似然函数 令 为IID，其PDF为 ，似然函数定义为 有时也记为 或 ，表示似然函数为在给定x的情况下，参数θ的函数。 似然函数在数值上是数据的联合密度，但它是参数θ的函数， 。因此似然函数通常不满足密度函数的性质，如它对θ的积分不必为1。 似然的解释 若X是离散的，则 。如果我们比较两个参数θ1和θ2的似然值，如果 则观测到的样本更可能发生在θ = θ1下，也就是说，相比θ2 ，θ1是一个更可信的猜测。 对连续的X， 但通常我们并不将似然解释为参数θ的概率 极大似然估计 极大似然估计（MLE） 是使得 最大的 ，即 log似然函数定义为： ，它和似然函数在相同的位置取极大值。 同样，相差常数倍也不影响似然函数取极大值的位置。因此似然函数中的常数项也可以抛弃。 例：Bernoulli分布 令 ， 则概率函数 似然函数为 其中 所以 解方程 例：高斯分布 令 ，参数为 ，似然函数（忽略常数项）为 其中 为样本均值 为样本方差 例：高斯分布 log似然函数为 解方程 得到 可以证明，这是似然函数的全局最大值。 对似然函数求最大值 对似然函数求极值（求导） 解析法（如上例中的高斯模型） 数值计算：优化算法 如梯度下降法 如EM算法（如下例中的混合高斯模型） 需注意的问题：要找到似然函数的全局极大值 一阶导数为0只是必要条件，非充分条件 而且一阶导数为0只能找到函数定义域内部的局部极值点。如在边界上取极值，一阶导数可能不为0。因此还必须检验边界。 例：均匀分布 令 则概率函数 考虑一个固定的?值，假设对于某一个i，有 ，则 因此令 则 所以 混合高斯模型(GMM)(Mixture