Trust+Region+Newton+Method+for+Large-Scale+Logistic+Regression.pptVIP

Trust Region Newton Method for Large-Scale Logistic Regression Chih-Jen Lin,et al.(2008,4), Journal of Machine Learning Research The Logistic Function f(z)=ez/(1+ ez)=1/(1+e-z) The logistic regression The regularized logistic regression 求解方法的分类 梯度和Hesse矩阵 模型（1）的性质 模型（1）的求解 线性方程组（6）的求解有直接法（如高斯消去法）和迭代法（如Jaccobi迭代法，共轭梯度法） 由于X是稀疏矩阵，迭代法更适合求解（6），目前常用的是共轭梯度法 不幸的是用共轭梯度法求解（6），获得精确的牛顿方向，常需很多的迭代步。因此常采用较少迭代步，求出一个近似的牛顿方向即可，此类方法称为非精确牛顿法或裁剪了的牛顿法（Truncated Newton Method） 信赖域牛顿法 △k的调整规则 * Low cost per iteration Slow convergence High cost per iteration fast convergence 模型（1）是个严格凸的无约束最优化问题，具有唯一的最优解 缺点： 不一定收敛，甚至可能不为下山序列 即使矩阵X稀疏，但XTDX可能是稠密的 牛顿法可用于求解模型模型（1），既然其Hesse矩阵正定 *