大数据分析关键技术.pptxVIP

大数据分析关键技术第1页/共39页 概述即席查询批量处理流式计算第2页/共39页 大数据计算分析模式分类即席查询Ad-Hoc Query批量处理Batch ProcessingMap/Reduce流式计算Stream Computing数据承载响应时间适用场景磁盘秒级(准实时)自然人交互式经营分析磁盘分钟级至小时级(准实时)事前/事后大批量数据处理内存(事件窗口非全量数据)秒级(实时)实时事件分析实时风险干预针对不同的业务领域，需要采用不同的数据计算分析方式，快速发现数据价值。第3页/共39页 即席查询即席查询（Ad Hoc）是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的，而即席查询是用户自定义查询条件。即席查询StorageDistribute File SystemColumn DatabaseResource ManagementParallelCompute FrameworkSQL Syntax+ Compute FrameworkSQL SyntaxMetaDataBatch ProcessingAd-Hoc Query实时性：高第4页/共39页 批量处理StorageDistribute File SystemColumn DatabaseResource ManagementParallelCompute FrameworkSQL Syntax+ Compute FrameworkSQL SyntaxMetaDataBatch ProcessingAd-Hoc QueryMapReduce是一种编程模型，用于大规模数据集的并行批量计算。概念Map和Reduce当前的主流实现是指定一个Map函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce函数，用来保证所有映射的键值对中的每一个共享相同的键组。形成这种模型的原因是：数据的分布式存储、计算资源的分布式、并行计算减少计算时长。批量处理实时性：低第5页/共39页 流式计算流数据的实时计算注重对流数据的快速高效处理、计算和分析。其特点是计算过程数据不落地，所有数据在内存中完成。其计算模型是根据规则生成容器，当数据流经过容器时，实时产生分析结果。流式计算InputAdapterOutputAdapterEngine ClusterClusterManagementRule RepositoryNoSQL实时性：高第6页/共39页 概述即席查询批量处理流式计算第7页/共39页 Impala NodeImpala架构ImpaladQuery PlannerQuery CoordinatorQuery Exec EngineCommon HiveQL InterfaceMetaDataSQLJDBCHive MetaStoreHDFS NNState StoreImpaladQuery PlannerQuery CoordinatorQuery Exec EngineImpaladQuery PlannerQuery CoordinatorQuery Exec EngineDataHDFS DNHBaseDataHDFS DNHBaseDataHDFS DNHBaseImpala NodeImpala NodeLocal Direct ReadsThrift第8页/共39页 Hive架构DataHDFS DNTask TrackerJob TrackerName NodeHadoopHive (Over Hadoop 0.20.X)SQLJDBCWUIThrift ServerDriver(Compiler, Optimizer, Executor)Meta StoreThriftServer：JDBC通过ThriftServer连接到Hive。ThriftServer连接MetaStore来读取hive的元数据信息。MetaStore：在关系型数据库中存放表/分区/列元数据，可以低延迟的快速的访问到需要的元数据信息。Driver/QueryCompiler/ExecutionEngine:客户端提交的HiveSQL首先进入Driver，然后Driver会为此次HiveSQL的执行创建一个Session，Driver维护整个session的生命周期。Driver首先将HiveSQL传送给QueryCompiler，然后由QueryCompiler来对用户提交的HiveSQL进行编译/检查/优化并最终生成MapReduce任务。ExecutionEngine会与Hadoop进行交互，将 MapReduce任务交给Hadoop来执行，并从Hadoop取得最终的执行结果