hadoop培训(一).ppt

Hadoop培训（一） 郝保 2012-08-23 系统开发部 主要内容 Hadoop介绍 Hadoop现状 MapReduce 引擎 HDFS文件系统 Hadoop相关 Hadoop介绍 作者：Doug Cutting 纯Java编写的开源系统，能够实现大规模的计算 Nutch搜索引擎里面的一个模块。 受Google三篇论文的启发，详细网上看 ---MapReduce GFS Bigtable mapreduce mapreduce GFS HDFS Bigtable Hbase Hadoop现状 奇虎360：Hadoop存储软件管家中软件，使用CDN技术将用户请求引到最近的Hadoop集群并进行下载 京东、百度：存储、分析日志、数据挖掘 广告类公司：存储日志，通过协调过滤算法为客户推荐广告 Yahoo：垃圾邮件过滤 华为：云计算平台 Facebook：日志存储，实时分析 淘宝、阿里：国内使用Hadoop最深入的公司 亚马逊 HDFS文件系统 NameNode节点是就是HDFS的大脑。想了解HDFS文件系统，必须了解大脑结构。 从NameNode节点开始。NameNode类中，关于HDFS文件系统的存储和管理都交给了FSNamesystem负责。 FSNameSystem层次结构 INode: 它用来存放文件及目录的基本信息：名称，父节点、修改时间，访问时间以及UGI信息等。INodeFile: 继承自INode，除INode信息外，还有组成这个文件的Blocks列表，重复因子，Block大小INodeDirectory：继承自INode，此外还有一个INode列表来组成文件或目录树结构Block(BlockInfo)：组成文件的物理存储，有BlockId，size ，以及时间戳BlocksMap: 保存数据块到INode和DataNode的映射关系FSDirectory：保存文件树结构，HDFS整个文件系统是通过FSDirectory来管理FSImage：保存的是文件系统的目录树FSEditlog: 文件树上的操作日志FSNamesystem: HDFS文件系统管理 读文件过程 写文件的过程 HDFS文件操作 格式为：hadoop fs -cmd args cmd的命名通常与unix对应的命令名相同。例如，文件列表命令： hadoop fs -ls 1、添加目录和文件 HDFS有一个默认的工作目录 /user/$USER，其中$USER是你的登录用户名。不过目录不会自动建立，我们现在用mkdir建立它，我使用的是chen作为用户名。 hadoop fs -mkdir /user/haobao (hadoop的mkdir命令会自动创建父目录，类似于带-p的unix命令) hadoop fs -put example.txt . 最后一个参数是句点，相当于放入了默认的工作目录 当你把文件放入HDFS上后，你就可以运行Hadoop程序来处理它。 2、检索文件 get命令与put命令相反，它从HDFS复制文件回到本地文件系统。 hadoop fs -get example.txt . 复制到本地的当前工作目录中。 另一种是显示数据,用cat hadoop fs -cat example.txt 3、删除文件 rm命令 hadoop fs -rm example.txt 也可以用来删除空目录 MapReduce 引擎 MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”，和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（化简）函数，用来保证所有映射的键值对中的每一个共享相同的键组。 实例 写MapReduce程序的步骤： 1.把问题转化为MapReduce模型 2.设置运行的参数 3.写map类 4.写reduce类 例子：统计单词个数 Hello my name is hao bao What is your name Hello 1 my 1 name 2 Is 2 What 1 your 1 hao 1 Bao 1 Map与Reduce分