MapReduce编程简介-厦门大学数据库室.PPTVIP

MapReduce实例 文档倒排索引算法 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 搜索： fish ? doc1, doc2 red ? doc2, doc3 red fish ? doc2 doc1： one fish two fish doc2： red fish blue fish doc3： one red bird 倒排索引： one: doc1, doc3 fish: doc1, doc2 two: doc1 red: doc2, doc3 blue: doc2 bird: doc3 Map：输入 (文档名+行号, 内容); 输出list(单词, 文档名) Reduce: 输出(单词, list(文档名)); 输出list(单词, 文档列表) MapReduce实例 文档倒排索引算法 - Map端 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - MapReduce实例 文档倒排索引算法 – Reduce端 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - MapReduce 编程简介 报告人：蔡珉星 厦大数据库实验室 2014-07-12 遇到的问题 目录 Hadoop与MapReduce MapReduce编程 MapReduce执行 MapReduce实例 Part 1 Hadoop与MapReduce - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - Hadoop简介： Hadoop是一个分布式系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序，并且可以方便的利用集群来提供强大的运算和存储能力。 Hadoop设计： Hadoop的框架最核心的设计：HDFS和MapReduce。 HDFS为海量的数据提供了存储； MapReduce为存储的数据提供了计算。 Hadoop与MapReduce - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - Hadoop优点： 可靠：数据冗余存储，能对失败的节点能重新分布处理； 高效：并行处理，可伸缩，能处理PB级数据； 成本低：依赖于廉价服务器； 运行于Linux平台：Hadoop带有用Java语言编写的框架，适合于Linux； 支持多种语言：支持C++，Python等语言。 Hadoop与MapReduce的关系： 04年Google发表论文介绍了MapReduce，MapReduce是一种编程模型，可用于大规模数据集。Nutch(开源网络搜索项目)使用了MapReduce，后来Nutch项目独立出来，成为Hadoop。Hadoop是一个分布式平台，其组成包括了MapReduce。 Hadoop与MapReduce - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - Hadoop与MapReduce Hadoop体系结构 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - Hadoop与MapReduce HDFS集群 一个HDFS集群是由一个NameNode和若干个DataNode组成的。 其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode管理存储的数据 Part 2 MapReduce编程 MapReduce编程 MapReduce – 分布式并行计算模型 - - - - - - - - - - - - - - - - - - - - - - - - - - - -