基于SVM的模型选择和参数优化方案研究与实现.pdfVIP

华中科技大学 硕士学位论文 基于SVM的模型选择和参数优化方案研究与实现 姓名：王占强 申请学位级别：硕士 专业：通信与信息系统 指导教师：刘文予 华 中 科 技 大 学 硕 士 学 位 论 文 摘 要 支持向量机是一种基于小样本的学习工具，其基本原理是在两类分类样本之间 找到一个线性的分类面把两类样本分开，并且使两类之间的分类间隔最大。但实际 应用中的分类数据几乎都无法用一个线性的分类面把它们分开，需要通过一个变换 把数据从一个空间映射到另一个高维的空间，在这个高维的空间中数据是线性可分 的。变换是使用一个映射函数实现，这个映射函数被称为核函数。 分类样本无论是构造核函数还是采用经典的核函数几乎都需要设置核函数的参 数，如何设置这些参数才能取得好的分类效果，不同的参数对分类结果又有什么样 的影响，如果数据集有几个可以选择的核函数又如何去选择。核函数的选择和核函 数参数的设置如何影响分类的结果，本文对这些问题通过实验进行了观察与分析。 通过实验观察不同参数设置对分类的影响。实验内容为对核函数设置不同参数 数值，观察分类结果的变化。有可选核函数的分类样本，对每个核函数逐一进行实 验观察。实验结果显示不同的参数对分类的精度有很大的影响，不同的核函数也使 分类精度变化很大。分类的目的不仅是要区分样本还要取得最好的分类效果。为了 保证最高的精度，需要找到一个方法来确定参数和选择核函数。 本文中构造一个误差函数来量化分类的误差。由于误差最小和分类精度高是等 价的，能取得误差函数的最小值，也就意味着得到了最高的分类精度，于是如何得 到最高的分类精度问题转化为求误差函数最小值问题。采用求误差函数导数的方法 求其最小值，求误差函数最小值的方法也是得到各个核函数参数的方法，使用这个 方法再结合分类样本求解每个核函数的参数。这样也就找到了一种设置核函数参数 的方法，解决了核函数参数优化的问题。 不同的核函数采用相同的参数优化方法得到最优参数后能得到在这个核函数 下的最高精度，然后对比不同核函数之间的分类精度，选取使精度最高的核函数。 这样也就完成了核函数的选取，解决了核函数的模型选择问题。通过参数优化和模 型选择两个步骤就能得到最好的分类效果。实验结果证明了本方法的正确性。 关键词： 支持向量机， 核函数参数优化， 模型选择， 分类精度 I 华 中 科 技 大 学 硕 士 学 位 论 文 Abstract Support vector machine (SVM) is a machine learning tool which is based on a small mount of samples to be separated. Its basic principle is to find a linear classifier between two classificatory samples to distinguish them while eusure the distance of the two classes is largest. But in practical application, samples can hardly be separated by a linear classifer. These samples should be mapped to another higher dimensional space, and in this space the samples could be separated linearly. The transformation is implemented by a mapping function which is call