基于LSSVM的两种分类器的实现与比较.docVIP

基于LSSVM的两种分类器的实现与比较 　　摘要：该文通过对支持向量机（SVM）分类器与最小支持向量机（LS-SVM）分类器的原理进行分析比较，得出最小二乘支持向量机，具有优良的推广能力，具有训练速度较快、结果较准等优点。分别通过使用LIBSVM与LSSVM工具对乳腺癌数据分析，实现两种工具的比较。 　　关键词：支持向量机；最小支持向量机；LIBSVM；LSSVM 　　中图分类号：TP311文献标识码：A文章编号：1009-3044(2011)29-7281-03 　　Implementation and Comparison of Two Classifiers Based on LS-SVM Algorithm 　　ZHOU Xia 　　(School of Computer Science, Yangjiang Vocational and Technical College, Yangjiang 529500, China) 　　Abstract: In this document, we compare the classification of Support Vector Machine(SVM) with the classification of Least Squares Support Vector Machines(LS-SVM), and have excellent ability, with training faster than SVM, use an example of using LIBSVM tools and LSSVM tools to classify an dataset of disease respectively to compare two tools. 　　Key words: SVM; LS-SVM; LIBSVM; LSSVM 　　支持向量机方法（SVM）是建立在统计学习理论的 VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力（Generalizatin Ability）。 　　本文主要介绍基于LS-SVM的分类器原理，并借助LS-SVM和LIB-SVM工具来讲解分类器的实现方法。 　　1 分类器原理 　　1.1 基于Vapnik的支持向量机分类器原理 　　SVM是从线性可分情况下的最优分类面发展而来的，分类线方程为x?w+b0=0。 　　利用Lagrange优化方法可以把上述最优分类面问题转化为其对偶问题，即在约束条件： 　　 （1a） 　　和 （1b） 　　下对αi求解下列函数的最大值： 　　 （2） 　　寻优的问题，存在唯一解。容易证明，解中将只有一部分（通常是少部分）不为零，对应的样本就是支持向量。解上述问题后得到的最优分类函数是： 　　 （3） 　　1.2 最小二乘支持向量机分类器LS-SVM 　　LS-SVM分类器是Suykens于1999年提出，它与Vapnik的支持向量机有些相似，但是它是通过线性系统来解决二次规化问题。 　　SVM在原空间（primal space）中求解如下优化问题： 　　 （4） 　　及： 　　 （5） 　　根据最优化性条件，对上式求偏导并令其为零。于是，基于LS-SVM分类器的函数为： 　　 （6） 　　2 数据集描述 　　本文采用UC Irvine Machine Learning Repository网站提供的Breast Cancer Wisconsin (Original) Data Set，数据按时间顺序排列共有699个实例，有10个属性，2类，部分缺失值。以下是数据集的详细信息： 　　属性：1. Sample code number: id number 　　2. Clump Thickness: 1 - 10 　　3. Uniformity of Cell Size: 1 - 10 　　4. Uniformity of Cell Shape: 1 - 10 　　5. Marginal Adhesion: 1 - 10 　　6. Single Epithelial Cell Size: 1 - 10 　　7. Bare Nuclei: 1 - 10 　　8. Bland Chromatin: 1 - 10 　　9. Normal Nucleoli: 1 - 10 　　10. Mitoses: 1 - 10 　　类别：Class: (2 for benign, 4 for m ali