6.3模型学习及最优化算法.pptVIP

* * * * * * * 1.逻辑斯谛回归模型、最大熵模型学习归结为以似然函数为目标函数的最优化问题。 2.目标函数是光滑的凸函数，能找到全局最优解。 3.常用的方法： 改进的迭代尺度法 梯度下降法 牛顿法 拟牛顿法 章节导入 1 改进的迭代尺度法 2 拟牛顿法 Contents 最大熵模型 对数似然函数 IIS思路：对参数向量w,希望找到一个新的参数向量 ,使得模型的对数似然函数值增大，每次寻找一个 ,然后不断迭代，直至找到对数似然函数的最大值。接下来就是确定每一步如何找到 改进的迭代尺度法 通过最大化迭代的差值，从而实现每一步得到最优的 1、差值的最大值如果小于0，说明已经到了最大值，已经得到最大的似然函数，此时的参数即是所求的。 2、差值如果大于0，那么我们现在就是要最大化差值，得到差值下界，通过不断的最大化这个下界，从而得到最大的差值。 改进的迭代尺度法 通俗的理解就是通过两个不等式变形优化下界，从而迭代到收敛的算法。 1.对 α0 ?logα≥1?α 2.Jensen 不等式 改进的迭代尺度法 * * * * * * *