基于粗糙集和C4.5决策树临床病例数据分类研究.docVIP

基于粗糙集和C4.5决策树临床病例数据分类研究 　　摘要：C4.5 算法是数据分类的经典数据挖掘算法。整合并规范了临床确诊病例中的糖尿病并发症数据，同时进行了粗糙集约简，并运用C4.5算法实现了分类。研究表明，该方法能很好地实现决策分类，以辅助临床诊断。 　　关键词关键词：粗糙集；C4.5算法；数据分类；糖尿病并发症 　　中图分类号：TP312文献标识码：A文章编号文章编号2014）005006104 　　基金项目基金项目：江西省教育厅科学技术研究项目（GJJ13014）；江西省卫生厅中医药科研课题（2013A065） 　　作者简介作者简介：王卓（1979-），女，硕士，南昌大学软件学院讲师，研究方向为数据挖掘。0引言 　　粗糙集理论[1]是一种新的处理模糊和不确定性知识的数学工具，其主要思想是在保持分类能力不变的前提下，通过知识约简[26]，导出问题的决策或分类规则。粗糙集能约简、去噪，对数据预处理起到了很好的作用。 　　分类[78]是数据挖掘中一项非常重要的任务。数据分类通常是指在已有训练样本数据、类标签为已知的基础上，根据某种算法或原理，经过训练学习而建立分类模型，然后使用分类模型判断其它未分类数据的类别。分类模型可以表示为分类规则形式、决策树形式、数学公式形式等。 　　决策树[9]是以实例为基础的归纳学习算法。它是一种从一组无次序、无规则的事例中推理出决策树形式的分类规则，然后对输入数据进行分类。其关键问题在于决策树的构建过程，包括建树和剪枝两个步骤。建树：采用自顶向下的递归方式，对决策树内部的节点进行属性值比较，并根据不同属性值来判断该节点向下的分支；在建立决策树的过程中需要设置停止增长条件，以使决策树能在适当的时候停止生长。剪枝：考虑把决策树修剪到合适的尺寸，并尽量保持决策树的准确度。C4.5算法属于决策树分类算法。 　　1粗糙集基本理论 　　信息系统[1，45]可以定义为S=（U，A∪D），其中U是一个非空、有穷、称为全域的个体集合，A是非空、有穷条件属性集合，即对于属性a∈A，有a：U→V，其中Va是属性a的值集，集合V=∨a∈AVa 称为属性A的值区域，D称为决策属性集。 　　属性约简：对于一个决策信息系统，条件属性中的各个属性间往往存在某种程度的关联或依赖，相对于决策属性来说，某些条件属性可能是冗余的。对属性的约简[4]就是用最基本的条件属性集代替原来的条件属性集，而不影响原有的功能。 　　定义1：设R是一个等价关系族，r∈R，如果IND（R）=IND（R-{r}），则称r在R中是可被约去的知识；如果P=R-{r}是独立的，则P是R中一个约简。 　　定义2：如果任一个r∈R是R中不可约去的，则等价关系族R是独立的；否则R是相关的。 　　定义3：R中所有不可约去的关系称为核，由它构成的集合称为R的核集，记成CORE（R）。 　　简化分明矩阵属性约简法[45]，是一边从信息系统S=（U，A∪D）中提取属性值是分明的属性并构造成分明合取范式，一边作这种逻辑公式的等价变换，直接得到最小析取范式，它对应于该信息表的约简。 　　2C4.5算法 　　2.1算法思想 　　首先C4.5泛指基本的C4.5、C4.5nopruning 以及拥有多重特性的C4.5rules等多变体的一系列算法。 　　基本的C4.5算法[10]思想是采用构造决策树的方法，实现分类。所有树的构造过程遵循自上而下递归模式。根节点表示一个给定的数据集；从根节点开始，每个节点用信息增益率等度量方法，测试一个特定的属性，把节点数据集划分成更小的子集（中间节点），并用子树表示；递归划分节点，直到子集成为“纯”的叶节点，即子集中的所有实例都属于某信息粒度时的同一类别，树才停止增长。C4.5算法构造决策树结构如图1所示。 　　图1C4.5算法构造决策树结构 　　2.2C 4.5算法相关理论 　　C4.5算法相关知识[1112]如下： 　　（1）属性值分析的数据是平面文件形式，一个对象或样本的所有信息要用固定属性集来表达。每个属性的值可以是数值型或离散型，但是用于描述样本的属性时不允许重复。 　　（2）分配给样本的类别必须是已知的；对于离散型样本数据，一个样本属于且仅属于其中的一类；样本的个数要远远超过类数。 　　定义4：给定一个训练数据集D={d1，d2，…dn}，其中每个实例di=，th称为例子，训练集中包含属性A={A1，A2，…Ah}，类别集C={C1，C2，…Cm}。对于训练集D，决策树是指具有以下性质的树：①每个内部节点都被标记一个属性Ai；②每条弧都被标记一个值vk，这个值vk对应于相应的父节点的属性；③每个叶节点都被标记一个类Cj。 　　定义5：分裂准则qi定义为在决策树算法中