支持向量机原理及matlab实现.docVIP

PAGE 9 1. Introduction AbaloneAge.data数据有4177个样本，7个特征，其中rings作为预测标签，也就是年龄。对样本的一些统计数据如下表所示。 Name Data Type Meas. Description Length continuous mm Longest shell measurement Diameter continuous mm perpendicular to length Height continuous mm with meat in shell Whole weight continuous grams whole abalone Shucked weight continuous grams weight of meat Viscera weight continuous grams gut weight (after bleeding) Shell weight continuous grams after being dried Rings integer Statistics for numeric domains: Length Diam Height Whole Shucke Viscera Shell Rings Min 0.075 0.055 0.000 0.002 0.001 0.001 0.002 1 Max 0.815 0.650 1.130 2.826 1.488 0.760 1.005 29 Mean 0.524 0.408 0.140 0.829 0.359 0.181 0.239 9.934 SD 0.120 0.099 0.042 0.490 0.222 0.110 0.139 3.224 Correl 0.557 0.575 0.557 0.540 0.421 0.504 0.628 1.0 2. Algorithm Description 考虑到数据的可分性，对年龄的预测是一个回归问题，所以采用支持向量机对数据进行回归分析。 一、支持向量机的基本原理 支持向量机(SVM)是Corinna和Vapnik于二十世纪末首先提出的。支持向量机方法Vapnik-Chervonenkis理论与构造风险最小理论为根底，使离超立体最接近的元素到超平面的间隔最大。通常超平面不止一个，也就是说支持向量机的目标就是最大化超平面之间的间隔，也就是建立最好的分类超平面，从而来提高学习分类机器的的泛化处理能力。该方法在解决高维小样本数据、数据的非线性以及解的局部极小点等多个问题中均展示出了很多独有的优点，并进而将其推行使用到了其余相联系的机器学习问题中。支持向量机方法早已被广泛的应用到了肿瘤数据分类等领域的问题研究中。 支持向量机的具体求解过程如下： (1) 设已知样本训练集： 其中，，为特征向量。 (2) 选择适当核函数以及参数，解决优化问题： 得最优解：。 (3) 选取的正分量，计算样本分类阈值：。 (4) 构造最优判别函数： 。 支持向量机内积核核函数K的主要种类有： ① 线性内核函数 ② 多项式核函数 ③ 高斯径向基核函数 (RBF) ④ 双曲正切核函数 (Sigmoid核函数) 一般地，用SVM做分类预测时必须调整相关参数(特别是惩罚参数和核函数参数)，这样才可以获得比较满意的预测分类精度，采用Cross Validation的思想可以获取最优的参数，并且有效防止过学习和欠学习状态的产生，从而能够对于测试集合的预测得到较佳的精度。 根据输入数据的线性可分性(线性可分或近似线性可分和线性不可分)，可以将支持向量机分为两大类：非线性支持向量机、线性支持向量机。 (1)线性支持向量机 若要介绍线性支持向量机，首先需要介绍下一个定义：线性分类器。A、B是两个不同的类别，需要在其中间加一个分类函数，这样就能够将A、B样本区分开，那么则说这个数据集是线性可分，其所对应的分类器便是线性分类器。对于二维空间，显然，分类函数可以看成是一条直线。同理，三维空间里分类函数就是一个平面，忽略空间的维数，分类函数就可以统称为超平面。 (2)非线性支持向量机 从前一小节可以看出来，线性支持向量机是二类分类器。但是，在现实环境和问题中，往往要解决多类别的分类的问题。那么，怎么从二类分类器扩充到多类别分类器呢？就是一个值得思考探寻的方向。从二类分类器获取多类分类器的方法有很多，但在实际应用中，采用的较多的措施是通过寻找一个合适的非线性转换函数，进而能够使数据从原始的特征空间中映射到新的特征空间中，使得数据在新的特征空间中是线性可分的。但是，寻找这样的非线性转换函数很难，并且即使能找到，要实现这种非线性的转换也很麻烦。 因此，引入了核函数，它使得甚至可