Chp9：参数推断课件.pptVIP

Chp9：参数推断 本节课内容：计算似然的极大值 牛顿法 EM算法 极大似然估计 似然函数：令 为IID，其pdf为 ，似然函数定义为 log似然函数： 极大似然估计（MLE）：使得 最大的 ，即 极大似然估计 计算MLE，需要求似然函数的极值 解析法（如本章已讲过的例子） 数值计算：通过迭代 牛顿法：简单 EM算法 迭代需要初始值，矩方法得到的结果是一个较好的初始值的选择 牛顿法 亦称牛顿-拉夫逊（ Newton-Raphson ）方法 牛顿在17世纪提出的一种近似求解方程的方法 使用函数 的泰勒级数的前面几项来寻找方程 的根 在MLE计算中，求 的根 对应处似然函数 取极值 牛顿法 将log似然函数的导数 在 处进行Taylor展开： 从而得到 因此迭代机制为： 牛顿法 当参数 包含多个参数为向量时，迭代机制为： 其中 为log似然函数 一阶偏导数（向量）， 为二阶偏导数矩阵， EM算法(Expectation Maximization) EM： Expectation Maximization 特