基于粗糙集与统计学习理论的样本分类算法.pdfVIP

第 29卷第 1期 模 糊 系 统 与 数 学 Vo1．29．NO．1 2015年 2月 FuzzySystemsandMathematics Feb．，2015 文章编号 ：1001—7402(2015)01—0183—08 基于粗糙集与统计学习理论的样本分类算法 刘文军 ，郑 国义 ，张小琼 (1．湖南大学 数学与计量经济学院，湖南 长沙 410082； 2．长沙理工大学 数学与计算科学学院，湖南 长沙 410076) 摘 要 ：结合粗糙集理论 中分类思想与统计学习理论 中回归分析思想，本文给 出了一种样本分类算法 ， 该算法首先对决策表进行约简，求 出一个极小约简，并在极 小约简决策表 中，将对象按类属性值进行分 类。然后根据每一类的因素描述 ，给 出一个线性回归方程 。最后将未知样本的数据代入每一个回归方程 ， 根据最大隶属度原则 ，确定每个样本 的分类。 关键词 ：粗糙集 ；统计 ；分类算法 中图分类号 ：0159 文献标识码 ：A 引言 分类是一种重要的数据挖掘技术 [1]。分类 的目的是根据数据集的特点构造一个分类函数或分类 模型(也常常称作分类器)，该模型能把未知类别的样本映射到给定类别 中的某一个。分类和回归都可以 用于预测。和回归方法不同的是，分类的输出是离散的类别值，而回归的输出是连续或有序值。本文只 讨论分类。 构造模型的过程一般分为训练和测试两个阶段。在构造模型之前 ，要求将数据集随机地分为训练数 据集和测试数据集。在训练阶段 ，使用训练数据集 ，通过分析由属性描述的数据库元组来构造模型，假定 每个元组属于一个预定义的类 ，由一个称作类标号属性 的属性来确定 。训练数据集 中的单个元组也称作 训练样本 ，一个具体样本的形式可表示为：(z，z，…，z，)，其中五表示属性值 ，d表示类别。由于提供 了每个训练样本的类标号 ，该阶段也称为有指导的学习，通常 ，模型用分类规则、判定树或数学公式的形 式提供。在测试阶段，使用测试数据集来评估模型的分类准确率 ，如果认为模型的准确率可以接受 ，就可 以用该模型对其它数据元组进行分类 。 分类模型的构造方法有决策树、统计方法 、机器学习方法、神经网络方法等口 ]。按大的方向分类主 要有 ：决策树 ，关联规则 ，贝叶斯 ，神经 网络 ，规则学习，忌一临近法 ，遗传算法 ，粗糙集 以及模糊逻辑技 术_8]。本文结合粗糙集理论与统计学习理论 中回归分析思想 ，提 出了一种新 的样本分类问题 的算法 。 该算法首先对决策表进行约简，求出一个极小完全约简决策表 ；其次 ，根据每一类的因素描述 ，给出一个 近似线性回归方程 ；最后根据线性 回归方程确定未知样本 的类属性值 ，这种 回归方法能综合地利用决策 表 中各属性 的属性值 ，也能有效地避免一些孤立点对样本分类的影响。 由于在数据收集阶段很难确切知道哪些属性是相关的，哪些属性是不重要 的，所有的属性都被认 * 收稿 日期 ：2013-11-04；修订 日期：2014—01—03 作者简介：刘2~g：(1971一)，男 ，湖南邵东人 ，长沙理工大学数学与计算科学学院讲师 ，博士 ，研究方向：模糊数学与粗糙集理论 。 184 模 糊 系 统 与 数 学 为是有用的，并全部存入数据库，大大增加了信息存储量和处理量 。我们在进行分类前 ，首先利用粗 糙集理论对初始数据集进行属性约简，找出原决策表的一个极小完全约简表 ，然后利用极小完全约简 决策表的数据进行分类将有效地减少分类的时间。 2 预备 在粗糙集理论中[10--11]，把知识假定为对对象分类的能力，知识是 由人们感兴趣的领域的分类模式 组成 ，它提供关于现实的明显事实 ，同时也具有 由明显 事实推导出模糊事实的推理能力 。设论域u是研 究对象组成的有限集合 ， 的子集称为 中的一个概念， 中的任何概念簇称为 的抽象知识 ，简称 知识 。为描述知识的粗糙程度，粗糙集理论引人了近似集的概念。对 中概念 及 己，上的一个等价关 系R，分别称集合RX=U{YIy∈U／R，y x)与RX=U{Yy『∈U／R，YNX