改进OWL-QN方法解稀疏logistic回归问题.PDFVIP

中国科学: 数学 2016 年 第46 卷 第1 期: 111 121 SCIENTIA SINICA Mathematica 改进的 方法解稀疏 回归问题 ∗ 薛伟 张文生 南京理工大学计算机科学与工程学院 南京 中国科学院自动化研究所 北京 收稿日期 接受日期 网络出版日期 通信作者 国家自然科学基金批准号 和 和南京理工大学研究生科研创新计划 批准号 资助项目 摘要 稀疏logistic 回归, 是机器学习中一类重要的问题, 它在控制论、管理科学和互联网等领域有着 广泛的应用. 本文提出了一种改进的基于分象限学习的拟Newton 算法来求解稀疏logistic 回归问题. 新算法采用著名的Barzilai-Borwein 步长策略自适应地近似代替目标函数的Hesse 阵, 并利用目标函 数的整体梯度信息来构造拟Newton 向量. 在适当的条件下, 证明了新算法的全局收敛性. 数值实验 表明新算法是可行的, 并且是有效的. 关键词 无约束优化 logistic 回归 正则化 拟Newton 方法 非单调线搜索 Barzilai-Borwein 步长 主题分类 65K05, 93B40 引言 典型的监督机器学习问题是通过已有类别的样本集学习出样本的一个关系模型, 并通过该模型对 新样本的类别进行预测. 例如, 已知 个样本 ( = 1 2 ), 每个样本包含 个特征, 样本 对应的类别为 ∈ {−1 +1}. 给定 , 我们的目标是建立一个以 ∈ 为参数的关系模型 (在学习 问题中, 通常称为权向量), 进而通过该模型对样本 的类别进行预测 . 在学习的过程中, 我们使 用损失函数 (; ) 来度量预测的类别和真实类别之间的差异. 常用的损失函数有 最小二乘回归 : ( − ) ; Logistic 回归 : log(1 + exp(− ( ))); hinge 损失 : max(0 1 − ( )); hinge 损失 : max(0 1 − ( )) . 此外, 模型的整体性能通过经验风险函数 () (该函数为所有损失函数的和) 来衡量. 为了避免学习 过程中出现过拟合现象, 引入正则化算子(), 于是, 我们得到如下形式的优化问题: min () () + () (1.1) 英文引用格式 ⃝ 《中国科学》杂志社 薛伟等: 改进的OWL-QN 方法解稀疏 logistic 回归问题 其中 () = ∑ (; ), 为权衡因子. 本文选取log(1 + exp(− ())) 作为损失函数, 极小 化目标函数 , 可以得到