传统的海量数据分析方案.ppt

Tez 将Map和Reduce两个操作进一步拆分 Map被拆分成Input、Processor、Sort、Merge和Output Reduce被拆分成Input、Shuffle、Sort、Merge、Processor和Output 分解后的元操作可以任意灵活组合，产生新的操作，经过一些控制程序组装后，可形成一个大的DAG作业 Stinger体系结构 Meta store HDFS Client Driver SQL Parser Physical Plan Execution CLI JDBC Tez Cache Mgr. Query Optimizer Impala 大规模并行数据库引擎(MPP) 由 Cloudera开发 HDFS Map Reduce Hive Pig Impala Impala体系结构 Impala支持的数据格式 RCFile Parquet (dremel格式) CSV AVRO Sequence File 大数据引擎测试 Hive：基于Hadoop的数据仓库系统。（v0.12） Shark：与Hive兼容的SQL引擎，运行在Spark计算框架之上。（v0.8.1） Impala：与Hive兼容的SQL引擎，并自带类似MPP执行引擎。（v1.2.3） Stinger/Tez：Tez是新一代的Hadoop执行引擎。（v0.2.0） 测试