基于分解策略多目标演化子集选择算法.PDFVIP

基基于于分分解解策策略略的的多多目目标标演演化化子子集集选选择择算算法法 钱超 and 周志华 Citation: 中国科学: 信息科学 46, 1276 (2016 ); doi: 10.1360/N112016-00045 View online: http://en /doi/10.1360/N112016-00045 View Table of Contents:http://en /publisher/scp/journal/SSI/46/9 Published by the 《中国科学》 志社 Articles you may be interested in 基于网格搜索策略的基因算法及其应用 科学通报 43, 2121 (1998); 双学科(气动/电磁)优化中的遗传算法研究 中国科学E辑: 技术科学 33, 459 (2003); 变量施肥决策的多目标优化模型与算法 中国科学: 信息科学 40, 244 (2010); 从数学角度看计算智能 科学通报 43, 1681 (1998); 基于聚类的多目标 自适应互联跟踪算法 中国科学: 信息科学 45, 953 (2015); 中国科学 信息科学 年 第 卷 第 期 论 文 基于分解策略的多目标演化子集选择算法 钱超 周志华 南京大学计算机软件新技术国家重点实验室, 南京 210023 软件新技术与产业化协同创新中心, 南京 210023 中国科学技术大学计算机科学与技术学院, 合肥 230027 * 通信作者. E-mail: zhouzh@ 收稿日期: 2016–03–03; 接受日期: 2016–04–22; 网络出版日期: 2016–09–02 国家自然科学基金(批准号: 资助项目 摘要 在许多现实的机器学习任务中 经常遇到从一组变量中挑选一个子集的问题 即子集选择问 题 对于这类问题的求解是 难的 最近 一种基于多目标演化算法的子集选择算法 被提出 无论是在理论上还是在实验上 方法均获得了目前的最佳性能 然而 当问题规模很大的时候 方法的运行时间变得难以令人满意 这阻碍了其在大规模实际问题中的应用 提出了一种基于 分解策略的多目标演化子集选择算法 方法将整个子集空间分解成多个子空间 并依 次调用 方法来求解 在理论上 方法在获得和 方法相同近似性能下界的同时 运 行时间随着分解个数的增加超线性下降 实验结果验证了这一理论 并显示出 方法的实际 性能随着分解个数的增加略有下降 但依然优于以往的贪婪算法 关键词 机器学习 子集选择 多目标优化 多目标演化算法 分解策略 引言 在许多现实的机器学习任务中 经常遇到这样一类问题 从给定的n 个变量中选择大小不超过 k 的一个子集来优化某个给定的目标 这类问题被称为子集选择 问题 其起源于矩阵 列选择问题 即从一个给定的矩阵中选择若干列以使选择的这些列能够最好地恢复该矩阵 子集选 择问题现已出现在各种各样的应用中 例如选择性集成 、属性选择 、稀疏学习 等 然而 对于子集选择问题的求解是 难的 已有许多国内外研究者针对该问题提出了多项式 时间的近似方法 主要可以分成两类 贪婪算法和凸放松方法 贪婪算法循环地加入或删除一个使当 前目标最优化的变量 直至变量数目达到 k 为止 尽管在实际应用中被广泛使用 但是贪婪算法 的优化能力往往受其贪婪行为所限 易于陷入局部最优解 凸放松方法通常先把对变量子集大小的约 束 也就是ℓ 范数 替换成凸