《大数据基本处理框架原理与实践》PPT课件（共16次课）第六次课：Hbase基本原理介绍.pptVIP

第六次课：Hbase的基本原理 刘春 计算机与信息工程学院数据科学系 河南省时空大数据产业技术研究院 河南大学 报告提纲 Hbase概述 Hbase的数据模型 上节课知识点回顾 Hbase的架构与运行机制 操作系统的一部分 是一个软件程序 在用户和计算机的存储设备之间建立桥梁 主要职责 建立了一个硬盘等存储设备中存储内容的目录结构 一般采用树形结构，表示存储内容的不同层次 目录中的每个组成项称为一个文件，目录的树形结构也存储了文件之间的关系 提供了相应的命令和接口来便于用户对存储设备的读写操作 什么是文件系统 当面临海量的数据时….. 什么是分布式文件系统 单台计算机的文件系统可能无法存储所有的数据！ 分布式文件系统 利用网络将大量的计算节点互联， 向下将各个节点中的存储容量进行集中管理，向上为用户提供透明化服务， 人们在使用分布式文件系统时，就像使用本地文件系统一样，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的 Hadoop Distributed File System，Hadoop分布式文件系统 HDFS分布式文件系统 什么是MapReduce Hadoop下的一个负责分布式计算的组件 一个软件系统，运行于HDFS之上 定义了一种实现分布式计算的框架 负责计算任务在集群中的分配调度、负载均衡、容错处理、网络通信等一系列问题 方便编程人员在不熟悉分布式并行编程的情况下，能够编写程序对分布式环境下的大数据进行处理 MapReduce分布式计算框架 MapReduce框架 将分布式环境下的并行大数据处理过程抽象为两个函数：map和reduce Map: key1,value1  key2, value2 Reduce: key2,value-list  key3, value3 MapReduce计算过程 Shuffle阶段 Map端的Shuffle过程 reduce端的Shuffle过程 MapReduce的架构与运行流程 Hadoop资源管理器：yarn 任务管理进程 客户端 HDFS MapReduce程序示例--wordCount Java类文件 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import java.io.IOException; import java.util.StringTokenizer;   public class WordCount { public static class MyMapper extends MapperObject, Text, Text, IntWritable{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); //将结果写入context context.write(word, one); } } } 。。。。。。  MapReduce程序示例--wordCount Java类文件 //自定义Reduce类，主要是在类中重载reduce函数。 public static class M