大规模线性支持向量机牛顿法.pptVIP

大规模线性支持向量机的牛顿法 大规模线性支持向量机 大规模问题：样本数和/或特征数非常大，数据矩阵常有稀疏性，如文本分类问题 线性支持向量机：线性核 一个核心问题：模型的求解效率 L2-SVM 模型（1）的性质 是个无约束优化问题 f(·)是个分段二次函数，且为严格凸的。从而（1）是个严格凸的无约束问题，具有唯一的最优解 与LS-SVM的关系：当I(β)={1,2,…,m}即所有约束指标集时，（1）就是LS-SVM。因此LS-SVM可看成是（1）的一个特殊情况 模型（1）的性质 f(·)是一阶连续可微的，其梯度为 模型（1）的求解 有限牛顿法（Mangasarian，2002） 改进的有限牛顿法（Keerthi，2005） 有限牛顿法 广义Hesee矩阵 模型（1）的目标函数仅是一阶连续可微的，但在0点，它的二阶导数不存在。因此Hesse矩阵不存在。但注意到它几乎处处二阶可微（扣除0点都是二阶连续可微的），因此我们可以用它的广义Hesse矩阵作为其Hesse矩阵 模型（1）的广义Hesse矩阵 有限牛顿法的性质 算法1称为有限牛顿法是因为该算法能在有限步内终止 算法1给出了大规模线性支持向量机的一个高效求解算法，比SMO类型的算法还高效 改进的有限牛顿法 L2-SVM-MFN与L2-SVM-FN 采用共轭梯度法求解 采用精确的一维搜索 采用一些启发式规则提高算法效率 线性方程组的共轭梯度法 β0的启发式规则 β-Seeding的效果 H1和H2的效果 L2-SVM-MFN与SVMlight，BSVM的比较 * 罗林开 模式识别与智能系统研究所 * * * 罗林开 模式识别与智能系统研究所 *