基于MAs算法的支持向量机参数优化研究-管理科学与工程专业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 保密□ ，在 年解密后适用本授权书。 不保密□。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 华中 科技 大 华 中 科 技 大 学 硕 士 学 位 论 文 I I 摘 要 支持向量机作为一个非常有效的机器学习方法，已经广泛应用于小样本、高维 的分类和回归问题中。然而，在构建支持向量机模型时，一个非常重要的问题是如 何优化模型参数与核参数。 针对支持向量机参数优化的问题，本文首先对相关文献做了较详细的综述研究。 在已有文献中，最简单直接的参数优化方法是网格搜索，但是该方法非常耗时，尤 其是优化多于两个参数时；使用经典的数值优化算法最小化泛化误差边界有非常快 的收敛速度，但是该类方法对初始点非常敏感，因此极易陷入局部极值点；进化算 法由于具有较好的全局搜索能力，近来被许多学者用来优化支持向量机的有关参数， 但是其缺乏在潜在邻域进行局部精细搜索的能力。 针对已有文献中各方法的不足，本文提出了基于粒子群优化算法和模式搜索的 文化基因算法，并将该算法应用到支持向量机参数优化中。在该算法中，粒子群优 化算法主要负责参数空间的全局搜索和对存在最优解的潜在区域的探测，而模式搜 索则在部分潜在区域中进行局部开采，以提高个体的质量。 为了验证本文提出的算法的有效性，文章设计了三个实验。第一个实验研究模 式搜索在该算法中的作用以及选择学习个体的策略；第二个实验和第三个实验分别 将提出的算法应用到支持向量机分类和回归问题的参数优化中，结果表明，该算法 与网格搜索、粒子群优化算法等常用方法和部分文献中的结果相比，有较好的准确 率和稳定性。 最后，总结全文并结合本文研究成果指出了下一步的研究方向。 关键词：参数优化，支持向量机，文化基因算法，粒子群优化算法，模式搜索 II II Abstract Support Vector Machines (SVMs) are a powerful machine learning method and have been successfully applied to model the data sets with few samples and high dimensions for classification and regression. A critical issue concerned with the performance of SVMs models is how to determine the kernel parameters and the hyper parameters. This study mainly concentrates on the parameters optimization of SVMs, which has gained many attentions in the existing literatures. A simple and direct way is to use an exhaustive Grid Search in the parameter space, which is time consuming, especially in the case of regression problems with more than two parameters to be optimized. Numerical optimization methods by minimizing the generalization error bounds are generally efficient with fast convergence rate but subject to the high sensitivity to starting points. Consequently, they are liable to get stuck