大数据分析报告关键技术.pptxVIP

大数据分析关键技术概述即席查询批量处理流式计算大数据计算分析模式分类数据承载响应时间适用场景即席查询Ad-Hoc Query磁盘秒级(准实时)自然人交互式经营分析批量处理Batch ProcessingMap/Reduce磁盘分钟级至小时级(准实时)事前/事后大批量数据处理流式计算Stream Computing内存(事件窗口非全量数据)秒级(实时)实时事件分析实时风险干预针对不同的业务领域，需要采用不同的数据计算分析方式，快速发现数据价值。即席查询实时性：高即席查询即席查询（Ad Hoc）是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的，而即席查询是用户自定义查询条件。Batch ProcessingAd-Hoc QueryMetaDataSQL SyntaxSQL Syntax+ Compute FrameworkParallelCompute FrameworkResource ManagementStorageDistribute File SystemColumn Database批量处理实时性：低批量处理MapReduce是一种编程模型，用于大规模数据集的并行批量计算。概念Map和Reduce当前的主流实现是指定一个Map函数，用来把一组键值对映射成一组新的键值对，指定并发的