传统的海量数据分析方案.pptVIP

*Stinger/TezLocalmodeSparkBagel(PregelonSpark)Shark

(HiveonSpark)…StreamingSparkEC2ApacheMesosYARN第三十一页，共四十六页。Tez将Map和Reduce两个操作进一步拆分Map被拆分成Input、Processor、Sort、Merge和OutputReduce被拆分成Input、Shuffle、Sort、Merge、Processor和Output分解(fēnjiě)后的元操作可以任意灵活组合，产生新的操作，经过一些控制程序组装后，可形成一个大的DAG作业第三十二页，共四十六页。Stinger体系结构MetastoreHDFSClientDriverSQLParserPhysicalPlanExecutionCLIJDBCTezCacheMgr.QueryOptimizer第三十三页，共四十六页。Impala大规模并行(bìngxíng)数据库引擎(MPP)由Cloudera开发HDFSMapReduceHivePigImpala第三十四页，共四十六页。Impala体系结构第三十五页，共四十六页。Impala支持(zhīchí)的数据格式RCFilePar