hadoop技术基础学习资料.ppt

* * * * * * * * * * * * * * * * * * * 此处添加您的标题 Biscuit oat cake carrot cake muffin jelly 1 此处添加您的标题 Biscuit oat cake carrot cake muffin jelly 2 此处添加您的标题 Biscuit oat cake carrot cake muffin jelly 3 此处添加您的标题 Biscuit oat cake carrot cake muffin jelly 4 ADD YOUR TITLE HERE Click here to modify the text , you may post text here . Click here to modify the text Click HADOOP Hadoop概述 一 Hadoop生态圈 Hadoop构架 主要组成部分及介绍 1 2 3 目录1 Hadoop 是一个实现了MapReduce 计算模型的开源分布式并行编程框架， 程序员可以借助Hadoop 编写程序，将所编写的程序运行于计算机机群上， 从而实现对海量数据的处理。 Hadoop 还提供一个分布式文件系统(HDFS）及分布式数据库（HBase） 用来将数据存储或部署到各个计算节点上。所以，可以大致认为： Hadoop = HDFS（文件系统，数据存储技术相关） + HBase（数据库） + MapReduce（数据处理） Hadoop构架分析 2 Hadoop主要由HDFS、MapReduce 、Hive和HBase等组成。 Hadoop组成部分 3 1、 Hadoop HDFS是Google GFS存储系统的开源实现，主要应用场景是作为并行计算环境（MapReduce）的基础组件，同时也是BigTable（如HBase、 HyperTable）的底层分布式文件系统。 HDFS采用master/slave架构。一个HDFS集群是有由一个Namenode和一定数目的 Datanode组成。 Namenode是一个中心服务器，负责管理文件系统的namespace和客户端对文件的访问。 Datanode在集群中一般是 一个节点一个，负责管理节点上它们附带的存储。在内部，一个文件其实分成一个或多个block，这些block存储在Datanode集合里。 Hadoop主要由HDFS、MapReduce 、Hive和HBase等组成。 Hadoop组成部分 3 2、 Hadoop MapReduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（job）通常会把输入的数据集切分为若干独立的数据块，由 Map任务（task）以完全并行的方式处理它们。 框架会对Map的输出先进行排序，然后把结果输入给Reduce任务。通常作业的输入和输出都会被存储 在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。 Hadoop主要由HDFS、MapReduce、Hive和HBase等组成。 Hadoop组成部分 3 3、 Hive是基于Hadoop的一个数据仓库工具，处理能力强而且成本低廉。 主要特点： 存储方式是将结构化的数据文件映射为一张数据库表。提供类SQL语言，实现完整的SQL查询功能。可以将SQL语句转换为MapReduce任务运行，十分适合数据仓库的统计分析。 Hadoop主要由HDFS、MapReduce、Hive和HBase等组成。 Hadoop组成部分 3 4、HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库,是一个适合于非结构化数据存储的数据库。 另一个不同的是HBase基于列的而不是基于行的模式。 HBase使用和 BigTable非常相同的数据模型。用户存储数据行在一个表里。一个数据行拥有一个可选择的键和任意数量的列，一个或多个列组成一个 ColumnFamily，一个Fmaily下的列位于一个HFile中，易于缓存数据。 表是疏松的存储的，因此用户可以给行定义各种不同的列。在 HBase中数据按主键排序，同时表按主键划分为多个Hregion。 Hadoop使用 二 登陆Hadoop集群 Hadoop建表 数据查询及导出 Hadoop的hdfs命令 1 2 3 4 目录2 HOSTNAME 133.128.8