基于粗糙集与支持向量机的分类算法.pdfVIP

华南理工大学学报(自然科学版) of of JournalSouthChina V01．36 第36卷第5期 UniversityTechnology No．5 2008年5月 Science (Natural Edition) May2008 基于粗糙集与支持向量机的分类算法木 邓九英1 杜启亮1 毛宗源1 姚琛2 (1．华南理工大学自动化科学与工程学院，广东广州510640；2．广东教育学院计算机科学系，广东广州510303) 摘要：针对高维大样本环境下支持向量机训练算法面，1名的耗时增大与维数灾问题，将 序列最小优化算法(SMO)与粗糙集(Rs)的数据处理功能相结合，提出一种新的基于粗糙 集与支持向量机的分类算法RS—SMO．该算法依据属性的重要性对数据集作属性约简，用 粗糙边界集法生成类边界集作为SMO的训练子集，使训练集比原始训练集的维数与规模 都有一定程度的减少，可构造出具有较好时空性能的算法．实验结果表明，RS．SMO算法 能实现结构风险最小化，且性能优于SM0算法． 关键词：粗糙集；支持向量机；分解算法；属性约简；边界集；时空性能 中图分类号：TPl8 文献标识码：A 在Vapnik…提出支持向量机(SVM)后，支持向分析出信息间的相互关系，在知识量不受影响的前 量分类机得到快速的发展．学习过程中SVM的训练 提下对属性进行约简，具有处理大容量高维信息的 速度是目前研究的一大重点，至今已有各种SVM训 强大功能，利用RS可以有效降低SVM训练样本的 练算法，其中较突出的训练算法是Platt提出的序列维数¨41．因为决定SVM最优分类面的支持向量主 J． 要分布在边界区域J，用粗糙集可以快速准确地得 最小优化(SMO)算法∽1及其改进算法∞。4 原始SVM算法的运算速度都比较慢，原因在于 出类边界集，以该边界集作为SVM的训练子集，可 其利用了传统的标准二次型优化技术来解决对偶问 以大幅度减少训练样本数．文中结合RS与SVM的 题．因为SVM在训练时需要计算和存储核函数矩 优点，在SMO算法基础上提出了一种新的分类算法 阵，当样本点数目较大时，这将需要占用很大的内 存．同时，SVM在二次型寻优过程中需要进行大量 析，结果表明，减少训练样本的维数与规模能使 的矩阵运算，在多数情况下，训练算法运行时耗时较 RS—SMO算法的时间与空间性能有较大的改进．仿真 大的是寻优算法模块．影响SVM算法计算昔的主要 实验结果表明了RS．SMO算法的可行性与优越性． 因素是训练样本数，尤其是样本中的支持向量数，如 1 支持向量分类机 果要使样本比较均匀地分布在高维空间中，则需提 供大量的训练样本．在大训练样本情况下，SVM算 1．1 SVM的训练算法 法会面临维数灾与时间消耗增大等问题，或者由于 SVM考虑线性可分的二分类问题，按照最大间 内存容量的限制导致无法训练，无法有效地实现支 隔原则求出最优分类超平面旧J．设线性可分样本集 持向量分类机与回归机的功能． 粗糙集(RS)是一种处理不精确、不确定和不完 {一1，1}，i=1，2，…，f}． 全信息的新型数学工具，它不需要任何先验知识，可 在分类面两边的样本对应两种不同的类别，其 收稿口期：2007．10—22 +基金项目：国家自然科学基金资助项目 126．tom 万方数据 124 华南理工大学学报(自然科学版) 第36卷 分类面的线性判别函数的一般形式为