em算法和改进.ppt

EM算法及其改进（二） 第一部分：EM变尺度加速算法 下降迭代算法 求解非线性最优化问题 最常用算法 基本步骤： step1：选取初始数据，选取初始点 ，令k=0 step2：构造搜索方向，按照一定规则，构造f在点 处的下降方向（对于无约束最优化问题）或可行方向（对有约束问题）作为搜索方向 。 下降迭代算法 step3：确定搜索步长。确定以 为起点沿搜索方向 的适当步长 ，使目标函数值有某种意义的下降，通常是使 step4：求出新迭代点，令 step5：检验终止条件，判定 是否满足终止条件，若满足，则停止迭代输出近似最优解 ；否则，令k:=k+1，转step2. 牛顿法 牛顿法的迭代公式： 其中 称为牛顿方向，它是第k+1次迭代的搜索方向，且步长为1. 又可写作： 其中， 为黑塞矩阵。 牛顿法的优缺点 优点： 对正定二次函数，迭代一次就可以得到极小点。 如果 正定且初始点选取合适，算法很快收敛。 缺点： 要求函数二阶可微 收敛性与初始点的选取依赖很大 每次都需要计算黑塞矩阵，计算了大 每次都需要解方程组 方程组有时奇异或是病态的，无法确定 是不是下降方向。 变尺度算法 拟牛顿法是一种逼近牛顿法的方法，它在每次迭代的搜索方向 满足 ，其中 是一近似 的矩阵，如果 正定，拟牛顿法也称变尺度法。 它的基本思想是利用梯度差及步长构造矩阵满足拟牛顿方程（变尺度方程）。变尺度法不必计算二阶导数。 变尺度算法 拟牛顿条件： 其中 是近似于 的矩阵 为方便，记 （并称其为校正矩阵） 则拟牛顿条件可以写成： 满足拟牛顿条件的校正矩阵并不是唯一的， 所以拟牛顿算法是一族算法 Q度量意义下最速下降方向 设f可微，在向量范数为 的度量意义下，f在点 处的最速下降方向为 如果把向量空间中向量模定义为 ， 其中Q为正定矩阵，那么从点 出发在上述 Q度量意义下沿哪个方向d搜索，f下降的最 快？ 若令 ，则 为牛顿方向。 变尺度算法 拟牛顿法就是在 度量意义下的最速下降法，只是向量范数的定义在各次迭代中是变化的，故这类算法又称为变度量法。拟牛顿法是一类特殊的变度量法。下面介绍两种常见的变度量法。 DFP算法 校正矩阵的表达式： 代入 得到的搜索方向叫做DFP方向，每次迭代中都使用DFP方向进行一维搜索的拟牛顿法就成为DFP法。 BFGS算法 在推到拟牛顿条件时，一开始不考虑构造逼近 的迭代矩阵 ，而是考虑逼近 的迭代矩阵 ，可以得到校正矩阵： 把BFGS公式产生的矩阵 构造的搜索方向 称为BFGS方向，每一次迭代都用BFGS方向进行一维搜索的拟牛顿法成为BFGS法。 加速收敛算法的导入 EM算法： E步：计算完全数据对数似然函数 的条件期望 M步：求 ，使其最大化 ，一般求 时，可求解方程组 得到参数的迭代公式 。 这种迭代公式通常使EM算法的收敛速度很慢，为加速收敛可考虑其他的方法求解。 加速收敛算法的导入 根据著名的Fisher公式 这里的 是不完全数据对数似然函数 在 处的梯度。 于是问题转化为求 使 ，从而可以使用非线性规划中的有效方法求解，达到加速收敛的目的。 BFGS加速算法 在EM算法的M步求解问题时采用DFP校正公式，由于一维搜索的不精确性和计算误差的积累可能导致某一次迭代中 的奇异，给问题的解决带来不便。 而BFGS公式对矩阵进行校正时对一维搜索的精度要求不高，并且由它产生的矩阵 不易变为奇异矩阵。因此，