大数据平台架构A组.pptxVIP

;目录/CONTENTS;随着电子信息产业的飞速发展，互联网的数据量呈几何倍数增长，现在正处于大数据时代。

有数据显示，2014年，我国生产的数据量就已经达到了ZB级别。在未来几年内，中国的数据总数量将呈现翻倍上涨的趋势。

面对规模达PB乃至EB级以上的数据，不单单是在数据存储上，也在数据处理上给硬件带来了很大的压力。

;萌芽阶段：20世纪90年代到21世纪的样子，数据库技术成熟，数据挖掘理论成熟，也称数据挖掘阶段。

突破阶段：2003——2006年，非结构化的数据大量出现，传统的数据库处理难以应对，也称非结构化数据阶段。

成熟阶段：2006——2009年，谷歌公开发表两篇论文《谷歌文件系统》和《基于集群的简单数据处理:MapReduce》，其核心的技术包括分布式文件系统GFS，分布式计算系统框架MapReduce，分布式锁Chubby，及分布式数据库BigTable，这期间大数据研究的焦点是性能，云计算，大规模的数据集并行运算算法，以及开源分布式架构（Hadoop)

应用阶段：2009年至今，大数据基础技术成熟之后，学术界及及企业界纷纷开始转向应用研究，2013年大数据技术开始向商业、科技、医疗、政府、教育、经济、交通、物流及社会的各个领域渗透，因此2013年也被称为大数据元年。;三次信息化浪潮;大数据的4V特性;数据访问接口;数据分析架构设计;京东基于Samza的流式计算实践架构;Hadoop生态架构;Hadoop三大核心设计;HDFS介绍;HDFS工作流程;HDFS文件数据上传;HDFS文件数据读取;MapReduce介绍;图MapReduce工作流程;MapReduce案例;HBase介绍;HBase存储方式;HBase体系架构;HBase工作原理;Spark的发展历史;Spark的体系架构;Spark的体系架构;Spark的体系架构;;Spark的体系架构;Spark的体系架构;Spark的体系架构;Spark的体系架构;spark运行流程图如下;使用场景;Hadoop与Spark的执行流程对比;Hadoop与Spark执行逻辑回归的时间对比;Spark在借鉴HadoopMapReduce优点的同时，很好地解决了MapReduce所面临的问题

相比于HadoopMapReduce，Spark主要具有如下优点：

Spark的计算模式也属于MapReduce，但不局限于Map和Reduce操作，还提供了多种数据集操作类型，编程模型比HadoopMapReduce更灵活

Spark提供了内存计算，可将中间结果放到内存中，??于迭代运算效率更高

Spark基于DAG的任务调度执行机制，要优于HadoopMapReduce的迭代执行机制

Hadoop存在如下一些缺点：

表达能力有限

磁盘IO开销大

延迟高

任务之间的衔接涉及IO开销

在前一个任务执行完成之前，其他任务就无法开始，难以胜任复杂、多阶段的计算任务

;Flink架构;Flink流处理特性;Flink生态圈;YarnCluster模式;

;Flink与Spark的比较;Flink综合性能对比;腾讯数据现状

;腾讯大数据平台核心模块;技术架构;Gaia核心特性;TDW;TRC-应用场景;美团业务场景

团购像过去的美团、大众点评、百度糯米等

外卖像美团外卖、饿了么等

点评像经典的以信息平台的方式给用户提供信息决策的大众点评

预定点餐、酒店、车票等业务

;外卖业务特点;美团点评大数据平台;应用场景一：图像技术

图像质量

图像清晰度

完整度

图片里的构成

采用方法

深度学习DNN判断美感