最小二乘支持向量机在医疗数据分析中的应用计算机与数字工程.doc

最小二乘支持向量机在医疗数据分析中的应用 钟萍, 岑涌, 席斌 （厦门大学 模式识别与智能系统研究所 福建 厦门 361005) 摘要：以医疗数据为应用对象，应用网格搜索和交叉验证的方法选择参数，建立了最小二乘支持向量机分类器，进行实际验证，并与使用K近邻分类器(K-NN)和C4.5决策树两种方法的结果进行了比较。结果表明，LS-SVM分类器取得了较高的准确率，表明最小二乘支持向量机在医疗诊断研究中具有很大的应用潜力。 关键词：最小二乘支持向量机；分类器；医疗诊断；网格搜索；交叉验证 中图法分类号：TP181 Application of Least Squares Support Vector Machines to Medical Diagnostics ZHONG Ping, CEN Yong, XI Bin (Institute of Pattern Recognition and Intelligence System, Xiamen University, Xiamen 361005, China) Abstract: As the medical diagnose dada an application object, LS-SVM classification hyper-parameters are optimized with grid-search and cross-validation method, carry through to validate the classification performance. Then it is compared to other typical classifications such as K-NN and C4.5 decision tree on the datasets. Computational results indicate that LS-SVM has good performance on the classification recognize, LS-SVM has potential application in medical diagnostics research. Keywords: least squares support vector machines (LS-SVM); classification; medical diagnostics; grid-search; cross-validation 1 引言 统计学习理论是由Vapnik建立的一种专门研究小样本情况下机器学习规律的理论, 支持向量机（Support Vector Machine, SVM）是在这一理论基础上发展而来的一种新的通用学习方法。支持向量机通过结构风险最小化原理来提高泛化能力，它较好地解决了小样本、非线性、高维数、局部极小点等实际问题，已在模式识别、信用评估和入侵检测等领域得到了应用[1,2,3]。最小二乘支持向量机（LS-SVM）是支持向量机的一种扩展，是由Suykens[4]在Vapnik的统计学习理论基础上提出的一种新型支持向量机方法，它适用于解决分类和函数估计问题，收敛速度快，分类精度高，已经在图像和字体识别领域获得应用，并取得了不错的效果[5][6]。 2 SVM与LS-SVM的基本原理 2.1 支持向量机原理 支持向量机是统计学习理论的一种通用学习方法，主要是基??以下思想：通过事先选择的非线性映射将输入向量映射到高维特征空间，并在这个空间中构造最优决策函数；在构造最优决策函数时，利用了结构风险最小化原则，并巧妙利用原空间的核函数取代高维特征空间的点积运算，使复杂计算得到简化。 基金项目：厦门大学985“海量数据挖掘方法及应用” 作者简介：钟萍（1982－）、女、硕士研究生、主研方向：智能计算、数据挖掘和机器学习；岑涌、男、硕士研究生、主研方向：智能计算、数据挖掘和机器学习； 席斌、男、副教授、硕导、主研方向：智能计算、数据挖掘和机器学习。 E-mail：apple.zhong@ 定义样本为维向量，某区域的个样本及其值表示为：，即{，，，}。首先用一非线性映射，把样本从原空间映射到特征空间。在这个高维特征空间中构造最优决策函数，其中为权值向量；为阈值。这样就把非线性估计函数转化为高维特征空间线性估计函数。 2.2 最小二乘支持向量机原理 Suykens[4][7]提出的最小二乘支持向量机与Vapnik提出的支持向量机在利用结构风险原则上，选择了不同允许错分的松驰变量，SVM选择了，而LS-SVM选择为的二范数。 对于Vapni