基于Hadoop海量嘈杂数据决策树算法实现.docVIP

基于Hadoop海量嘈杂数据决策树算法实现 　　摘要：针对当前决策树算法较少考虑训练集的嘈杂程度对模型的影响，以及传统驻留内存算法处理海量数据困难的问题，提出一种基于Hadoop平台的不确定概率C4.5算法――IPC4.5算法。在训练模型时，IPC4.5算法认为用于建树的训练集是不可靠的，通过用基于不确定概率的信息增益率作为分裂属性选择标准，减小了训练集的嘈杂性对模型的影响。在Hadoop平台下，通过将IPC4.5算法以文件分裂的方式进行MapReduce化程序设计，增强了处理海量数据的能力。与C4.5和完全信条树（CCDT）算法的对比实验结果表明，在训练集数据是嘈杂的情况下，IPC4.5算法的准确率相对更高，尤其当数据嘈杂度大于10%时，表现更加优秀；并且基于Hadoop的并行化的IPC4.5算法具有处理海量数据的能力。 　　关键词：Hadoop；C4.5；不确定概率；嘈杂数据；并行化 　　中图分类号：TP181 　　文献标志码：A 　　Abstract：Concerning that current decision tree algorithms seldom consider the influence of the level of noise in the training set on the model， and traditional algorithms of resident memory have difficulty in processing massive data， an Imprecise Probability C4.5 algorithm named IPC4.5 was proposed based on Hadoop. When training model， IPC4.5 algorithm considered that the training set used to design decision trees is not reliable， and used imprecise probability information gain rate as selecting split criterion to reduce the influence of the noisy data on the model. To enhance the ability of dealing with massive data， IPC4.5 was implemented on Hadoop by MapReduce programming based on file split. The experimental results show that when the training set is noisy， the accuracy of IPC4.5 algorithm is higher than that of C4.5 and Complete CDT （CCDT）， especially when the data noise degree is more than 10%， it has outstanding performance； and IPC4.5 algorithm with parallelization based on Hadoop has the ability of dealing with massive data. 　　英文关键词Key words：Hadoop； C4.5； imprecise probability； noisy data； parallelization 　　0 引言 　　互联网的快速发展导致数据的爆炸式增长[1]，所产生的海量数据中隐藏着大量的价值，而发现其中价值的有效手段就是数据挖掘技术。所谓数据挖掘是指从海量数据中揭示出隐含的、先前未知并有潜在价值信息的非平凡过程。数据挖掘主要可以分为聚类与分类两大部分，其中聚类算法主要是把一个数据对象划分成子集的过程，被广泛应用在商务智能、Web搜索、生物学等领域；而分类则是提取刻画重要数据类的模型，即分类器的构建，广泛应用于欺诈检测、目标营销、医疗等方面。 　　随着数据的爆炸式增长[1]，数据挖掘技术被广泛应用在各个领域。在数据挖掘分类领域中，C4.5算法[2]是一个众所周知的，是Quinlan在1993年对ID3算法[3]的改进算法，其模型的构建忽视了用于建树的训练集的不可靠性所带来的误差。针对训练集的不可靠性，Walley在1996年提出一种正式的不确定概率理论，称作不精确的狄利克雷模型（Imprecise Dirichlet Model，IDM）[4]，