Hadoop数据挖掘并行算法框架.PDFVIP

数据库技术 • Data Base Technique Hadoop数据挖掘并行算法框架 文/徐啸 要处理的是海量数据，使用单机的算法不能适 如果对分类算法进行 Map/Reduce 编程， 论文提出了 hadoop 云平台实 应互联网环境的要求，因此数据挖掘并行算法 则在第二阶段 map 将根据属性表的条件产生 摘 现数据挖掘并行算法的编程框架。 新的节点，因此 reduce 节点增加；而在聚类 要 的研究是势在必行的。 首先对数据挖掘算法和应用和原 理进行了分析，然后介绍了 Map/ 算法中，reduce 节点将计算所有簇的新中心点， Reduce 并行编程流程，从 input 1 Hadoop云平台组成 因此reduce 的数量少。input split 在经过数据 split，到map()的(key,value)， 和 reduce 对 (key,list{value}) Hadoop 云计算平台是 Doug Cutting 主导 挖掘程序的执行后，输出样本数据的分类、所 的简答计算。详细设计了数据挖 开发的开源项目，使用java 语言，具有实用 有簇、数据库规则。在数据挖掘并行算法中， 掘算法的通用 Map/Reduce 编程框 架，分析了算法关键技术。最后 性，受到广泛欢迎。Hadoop 包括 10 个子项 概率计算、属性表划分、距离计算，和节点的 应用在sprint和k-mean算法上， 目。它的物理存储是分布式文件系统HDFS 。 并行分配是关键技术。例如：决策树算法划分 实验结果说明 hadoop 云平台能实 HDFS 将数据文件分成 64M 数据块，并且存 数据集使用属性选择度量，有信息增益等三种 现数据挖掘并行算法，提高加速 比。 储在不同数据节点上。HDFS 用备份方式防止 条件。k-means 算法的距离计算有欧式距离等 出现读写错误，因此每个数据块有三个副本， 三种数学公式，用以选择样本所在簇；聚类准 存储在不同机柜。Hadoop 可部署在廉价的微 则函数是迭代停止的条件，有全局误差函数和 【关键词】数据挖掘 Map/Reduce 并行计算 型机上，集群系统包括上千个服务器，因此 簇类中心误差值函数两种公式。 Hadoop 的应用程序可处理海量数据，几个GB 3 实验分析 甚至 TB 。 数据挖掘是知识发现 KDD 的关键环节， Hadoop 的编程模型是Map/Reduce 。Map/ 将数据挖掘的 map/reduce 框架应用在 并且在连续数值、异构数据、计算模型等方面 Reduce 框架是集中管理，只有一个管理器称 sprint 算法和 k-means 算法上，hadoop 云平台 有发展。知识挖掘是在大量数据中发现有效的、 为命名节点 namenode ，有多个工作节点称为 有 4 个节点，则加速比分别增加了 2.1 倍和 1.3 新颖的、有用的以及最终可理解知识的非平