项目3 大数据处理平台.pptxVIP

项目3大数据处理平台;项目导读;;CONTENTS;任务一;任务描述;任务描述;大数据处理平台架构;数据采集层;数据存储层;3.文档型数据库相关产品:MongoDB、CouchDB、ThruDB、CloudKit、Perservere、Jackrabbit主要应用:web应用,管理面向文档的数据或者类似的半结构化数据优点:数据结构灵活,表结构可变,复杂性低缺点:查询效率低,且缺乏统一的查询语言。

4.Graph图形数据库相关产品:Neo4J、OrientDB、InfoGrid、GraphDB主要应用:复杂,互连接,低结构化的图结构场合,专注构建关系图谱优点:利用图结构相关算法,可用于构建复杂的关系图谱缺点:复杂度高;数据处理层;数据应用层;小结;CONTENTS;任务描述;MapReduce架构及进程;MapReduce体系结构组成部分，主要有：Client、JobTracker、TaskTracker、Task，;;工作流程：

客户端启动作业，向JobTracker发送请求，并将作业所需要的资源文件(程序jar包、作业配置文件、分片元信息文件)复制到HDFS上；

JobTracker收到请求后，作业调度模块对作业进行初始化，并对作业进行监控，同时根据一定的策略为空闲资源创建一个map任务，并将map任务分配给TaskTracker执行；

TaskTracker会根据任务任务所在HDFS上获取相应资源文件并启动Maptask或者ReduceTask处理作业。

TaskTracker每隔一段时间会给JobTracker发送一个心跳，告诉JobTracker它依然在运行，同时心跳中还携带当前map任务完成的进度信息。当JobTracker收到作业的最后一个任务完成信息时，便把该作业设置成“成功”。待所有Task执行完毕后，整个作业执行成功。如;MapReduce函数及工作流程;;MapReduce工作流程

;Shuffle过程

;Map端的Shuffle过程

;Reduce端的Shuffle过程;任务描述;Spark生态系统;基本概念;Spark运行原理;1）首先为应用构建起基本的运行环境，即由Driver创建一个SparkContext，进行资源的申请、任务的分配和监控

（2）资源管理器为Executor分配资源，并启动Executor进程

（3）SparkContext根据RDD的依赖关系构建DAG图，DAG图提交给DAGScheduler解析成Stage，然后把一个个TaskSet提交给底层调度器TaskScheduler处理；Executor向SparkContext申请Task，TaskScheduler将Task发放给Executor运行，并提供应用程序代码

（4）Task在Executor上运行，把执行结果反馈给TaskScheduler，然后反馈给DAGScheduler，运行完毕后写入数据并释放所有资源;Spark核心概念RDD;RDD之间的依赖关系——Shuffle操作

;RDD之间的依赖关系——窄依赖和宽依赖

;项目拓展;思考与练习