Hadoop在数据挖掘中应用(研究生读书报告)教案.pptVIP

LOGO Thank you! Your Site Here LOGO c LOGO 主讲：康凤筠 ABSTRACT 所谓数据挖掘，是指从数据中获取人们感兴趣的知识，这些知识是隐含的、有效的、新颖的、潜在有用的并且通过可以理解的模式向用户展示。数据挖掘由三个步骤组成：准备数据、发掘规律和规律表示。随着信息社会的发展，每天产生的数据量成指数级增长。目前的挖掘算法处理海量数据需要耗费很长的时间或无法处理海量数据。将传统算法迁移到云平台进行并行化改进可以有效的解决该问题。云计算的资源配置动态性、并行计算等功能为传统数据挖掘无法处理海量数据的提供了一种解决方案。 Hadoop是Apache开发的一种分布式系统框架，底层的HDFS提供了具有高容错、高吞吐率的文件存储读写；MapReduce提供了一种并行化编程框架，用户无需了解分布式并行化编程细节，只需编写Map和Reduce类就能实现分布式程序。对于传统的数据挖掘算法,结合算法自身的特点,我们可以很容易或者需要深入研究才能发现它是否能够并行。对于能够并行实现的算法,结合MapReduce编程模式,我们可以将其移植到Hadoop平台上,高效的、并行的完成数据挖掘任务。Hadoop的海量数据存储平台和简单的并行化计算平台，为传统数据挖掘算法能够处理海量数据提供了基础。 Hadoop介绍 1 聚类算法 K-Means 并行化 协同过滤改进与并行化 参考文献 2 3 4 Contents HDFS Hadoop简介 Hadoop是 Apache 基金会开发的一个分布式基础架构。用户可以轻松的在Hadoop 上开发和运行处理海量数据的应用程序。其核心组成HDFS、MapReduce和 HBase。 HDFS(Hadoop Distributed File System)是一个运行在廉价硬件上的分布式文件系统， 充分考虑了文件系统的性能、可伸缩性、可靠性和可用性，并具备了容错和自动恢复功能。在数据访问上，应用程序必须流式访问 HDFS 上面的数据集。 HDFS 采用主从结构，由一个 NameNode 和多个 DataNode 组成。NameNode 节点负责管理文件系统的名字空间和用户对文件的访问，如打开、关闭、重命名文件，并且数据块在数据节点的映射也是由命名空间决定的。DataNode 节点负责文件的存储，并且响应客户端读写请求。对文件的具体操作是在 DataNode 上进行。 HDFS Sub Text HDFS 的数据交互主要包括数据读取和数据写入。数据交互涉及到用户、名字节点和数据节点，客户端先与 NameNode 建立连接，获取相应文件块信息，再和DataNode 建立连接，直接对文件块进行操作。 在 HDFS 中，文件以固定大小块形式存储。为了保证文件的可靠性，每一块数据都有冗余备份，默认值为 3。冗余块的放置影响了 HDFS 的性能和可靠性，默认情况下，HDFS 将第一块放在本地节点，第二块放置在同机架的不同节点，第三块在不同机架的其他节点。这种方式提升了写的性能。 HDFS优缺点 HDFS 的优点： 1) 适合处理大文件，目前 HDFS 可以存储管理 PB 级数据； 2) 提供流式访问数据，HDFS 的“一次写入，多次读写”的思想适合 MapReduce并行化编程； 3) HDFS 对硬件要求低，只需要普通 PC 机就能满足硬件要求，降低了搭建分 布式系统的投入。 缺点： 1) HDFS 不适合要求低延时的应用程序。系统对每一块数据的访问都必须通过 Master 节点，这就增加了系统的响应时间； 2) HDFS 不适合存储大量小文件。Master 节点在内存中存放文件系统的元数 据，因此内存的大小决定了系统存放文件的个数。 3) 对于多用户操作，目前不支持多用户并发写，并且不支持对文件任意位置修 改。 MapReduce简介 MapReduce 是一个在普通计算机集群中运行的并行和分布式海量数据处理框架。 MapReduce 的核心思想是：(1) 将问题分而治之；(2) 将计算推到数据，可有效避免数据传输过程中产生的大量通信开销。 它隐藏了并行化编程的复杂部分，将任务分为 Map 和 Reduce 阶段。Master 节点将输入数据分割成若干独立的数据块，并将它们传递到 Map 节点。在 Map 阶段，每个 Mapper 计算节点接受一定数量的数据块，然后根据用户自定义的 map 函数，产生 key,value 对，然后调用自定义的 map 函数进行处理并产生中间结果存放在本地。在 Reduce 阶段，远程读取 Map 阶段产生的中间结果，调用自定义的 Reduce 函数进行处理，并将最终结果存储到 HDFS。 HBa