数据挖掘中分类算法分析与量化研究.pdfVIP

2008年12月 西北工业大学学报 Dec． 2008 ofNorthwestern V01．26No．6 第26卷第6期 Journal PolytechnicalUniversity 数据挖掘中分类算法分析与量化研究 张 原，高向阳 (西北工业大学自动化学院．陕西西安 710072) 类算法进行了实验分析，分别得出了在相同训练、测试样本数据下3种算法建立模型所需时间、分 类准确性、覆盖率及margin曲线。分析了训练样本数量对3种算法的不同影响，为使用者在不同的 样本质量下选择相应的分类算法提供理论和实验依据。 关键词：数据挖掘，分类算法，训练样本，margin曲线 中图分类号：TP311．13文献标识码：A 文章编号：1000—2758(2008)06—0718—05 分类算法是数据挖掘中最重要的技术之一，它 数据挖掘分类模型的构造方法目前包括：决策 的目标是从数据集中提取能够描述类基本特征的模 树方法、统计方法、机器学习方法、神经网络方法、类 型，并利用这些模型把数据集中的每个对象都归人 比学习方法、遗传算法、粗糙集方法、模糊集方法、基 到其中某个已知的数据类中。分类和预测在理论方 于案例的推理方法等。本文以决策树方法中的C4．5 法上基本一致，其主要区别是分类的输出是离散的 算法，统计方法中的Bayesian置信网络，机器学习 类标识，而预测的输出是连续值。本文重点讨论分类 方法中SM0方法为重点，详细分析在数据挖掘系 算法。 统中使用最为广泛的3种分类算法的综合性能。 分类算法分为2个阶段：①通过训练构造分类 模型；②分类模型应用于测试样本得到样本分类信 1算法介绍 息；主要的难点是构造准确、高效的分类模型。训练 样本丁中，所有样本将被分类到m个类标识{C，， 1．1 C4．5算法 C2，…，C—I}‘：丁形式化的表示为{口1，n2，…，口。：Ci)。 C4．5算法是对著名的决策树归纳算法ID3的 Ci(i=1，2，…，m)、口，(_f=1，2，…，口)表示样本属 改进版本，结合了剪枝算法去除了不可能分支和过 性。分类算法的计算代价也主要集中于分类模型的 构造。 大幅度提高了计算速度。 分类方法的评价主要基于以下5项标准： C4．5算法通过训练样本集构造一个决策树。设 ①预测的准确性：样本数据中正确分类所占的 训练样本为丁，样本共分为m个不同的类C一(i=1， 比例；②速度：产生模型和使用模型进行分类的时间 2，…，m)。设S是任意样本集，具有ISl个数据样 代价，由于产生模型所需要的时间占总时间的绝大 部分，所以实验中主要以模型产生时间作为分类方 一个给定的样本分类所需的数学期望信息为 法速度衡量标准；③鲁棒性：对噪声数据或有空值得 数据，模型正确预测的能力；④可处理数据量：对大 蛳cs，一剽≈铲)． 量数据有效构造模型的能力，主要是指解决驻留磁 盘数据的能力；⑤可理解性：模型提供的理解的层 1092(freql(C]i,S)．))(1) 次。 对训练样本集递归的应用树构造函数，使得训 收稿日期：2007