Hadoop组件介绍.PPT

Hadoop组件介绍 组件结构示意图 组件介绍 Core 分布式系统和通用IO组件和接口（序列化，Java?远程过程调用等等）。 Avro 支持跨语言过程调用，持久数据存储的数据序列化系统。 MapReduce 构建在廉价的PC机器上的分布式数据处理模型和运行环境 HDFS 构建在廉价的PC机器上的分布式文件系统? 组件介绍 Pig 处理海量数据集的数据流语言和运行环境。pig运行在HDFS和MapReduce之上。? Hbase 分布式面向列的数据库。HBase使用HDFS作为底层存储，同时使用MapReduce支持批处理模式的计算和随机查询 ZooKeeper 提供分布式、高效的协作服务以及分布式锁这样的原子操作，可以用来构建分布式应用。 组件介绍 Hive 分布式数据仓库，Hive使用HDFS存储数据，提供类似SQL的语言（转换为MapReduce任务）查询数据。 Chukwa? 分布式数据采集和分析系统。 使用HDFS存储数据，使用Mapreduce输出分析报告。 * *