特征选择和SVM训练模型的联合优化.pdfVIP

( ) ISSN 100020054 清华大学学报 自然科学版 2004 年 第 44 卷 第 1 期 3 36 CN 1122223N 　 ( ) , 2004, . 44, . 1 9212 J T singhua U niv Sci Tech V ol N o 　 特征选择和 SVM 训练模型的联合优化 陈光英, 　张千里, 　李　星 (清华大学 电子工程系, 北京 100084) 摘　要: 提出了特征选择和支持向量机(SVM ) 训练模型的 (SVM ) ; NA2est im ate; m ixed kernel funct ion; genet ic 联合优化方法, 利用特征选择和训练模型的互相依赖关系来 algor ithm (GA ) ; part icle sw arm op t im izat ion (P SO ) 提高 SVM 性能。该方法包括 3 个关键技术: 优化目标是提 高 性能, 它是由 2 方法计算出来的; 用一个 SVM NA estim ate 编码和训练是机器学习的两个关键过程。前者 二进制向量表示特征选择, 用混合核函数和折中控制参数来 ( ) 把对象转换成样本 向量 , 后者根据样本集建立学 表示训练模型; 用演化算法来求解联合优化问题。通过使用 习机, 使它对学过的对象有识别和推广能力。学习机 入侵检测标准数据, 比较了联合优化、单独优化和分开优化 要识别的应该是对象本身, 可是它所操作的却是已 方法以及遗传算法(GA ) 和粒子群优化算法(PSO ) 的使用效 果。结果表明: 联合优化方法能更好地提高 SVM 性能, 并且 编码的样本, 可见编码和训练的效果都会影响到学 收敛速度更快; GA 的效果比PSO 要好。 习机性能。特征选择和训练模型分别是编码和训练 关键词: 人工神经网络与计算; 支持向量机; 2 ; 的控制因素, 在训练之前必须确定。特征选择和训练 NA estim ate 混合核函数; 遗传算法; 粒子群优化 模型的优化过程是互相依赖的, 因为优化其一需要 中图分类号: T P 183 文献标识码: A 有另一个才能测试。然而在一般应用中它们却常分 文章编号: 1