大数据应用技术介绍.pptxVIP

大数据应用技术介绍2014年2月第一页，共三十七页。 Hadoop生态系统第二页，共三十七页。 Hadoop生态系统Sub Project描述common分布式文件系统和通用I/O的组件与接口（序列化，Java RPC和持久化数据结构）Avro支持高效的跨语言RPC和持久数据存储的序列化系统MapReduce分布式数据处理模型和执行环境，运行在大型商用机集群HDFS分布式文件系统，用于大型商用机集群PIGPig是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。Hive分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据，并提供基于SQL的查询语言（由运行时引擎翻译成MapReduce作业）Hbase分布式、按列存储的数据库。HBase使用HDFS作为底层存储，同时支持MapReduce的批量式计算和点查询（随机读取）ZooKeeper分布式、可用性高的协调服务。提供类似分布式锁的基础服务。Sqoop在数据库和HDFS之间高效传输数据的工具Flume分布式、可靠、和高可用的海量日志聚合的系统。ChukwaChukwa是基于Hadoop的大集群监控系统，由yahoo贡献。第三页，共三十七页。 Hadoop介绍HDFSMapReduce第四页，共三十七页。 HDFS