医学常见的深入浅出spark.pptVIP

深入浅出Spark 2015年8月 研究院 王凤 目录 Spark简介 核心模块的实现 Spark应用 Spark与Hadoop的区别与联系 Spark总体流程 Spark应用库 大数据的电花火石 Spark简介 什么是Spark Apache Spark™is a fast and general engine for large-scale data processing Spark是UC Berkeley AMPLab开发的是一种计算框架，分布式资源工作交由集群管理软件（Mesos、YARN） a MapReduce-like cluster computing framework designed for low-latency iterative jobs and interactive use from an interpreter Spark简介 Spark的发展历程 Spark代码贡献者每个月的增长曲线 2009：Spark诞生于伯克利大学 AMPLab 2010：开源 2013.6：Apache孵化器项目 2014.2：Apache顶级项目 目前为止，发布的最新版本为Spark1.4.1 Spark在最近6年内发展迅速，相较于其他大数据平台或框架而言，Spark的代码库最为活跃。 / 截止2015年6月 Spark的Contributor比2014年涨了3倍，达到730人； 总代码行数也比2014年涨了2倍多，达到40万行 Spark应用也越来越广泛，最大的集群来自腾讯——8000个节点，单个Job最大分别是阿里巴巴和Databricks——1PB Spark特点 Spark简介 高效 提供Cache机制来支持需要反复迭代的计算或者多次数据共享，减少数据读取的IO开销。 与Hadoop的MapReduce相比，Spark基于内存的运算比MR要快100倍；而基于硬盘的运算也要快10倍！ 易用 Spark提供广泛的数据集操作类型（20+种），不像Hadoop只提供了Map和Reduce两种操作。 Spark支持Java，Python和Scala API，支持交互式的Python和Scala的shell。 与Hadoop无缝衔接 Spark可以使用YARN作为它的集群管理器 读取HDFS,HBase等一切Hadoop的数据 先进架构 Spark采用Scala语言编写，底层采用了actor model的akka作为通讯框架，代码十分简洁高效。 基于DAG图的执行引擎，减少多次计算之间中间结果写到Hdfs的开销。 建立在统一抽象的RDD（分布式内存抽象）之上,使得它可以以基本一致的方式应对不同的大数据处理场景。 提供整体 解决方案 以其RDD模型的强大表现能力，逐渐形成了一套自己的生态圈，提供了full-stack的解决方案。 主要包括Spark内存中批处理，Spark SQL交互式查询，Spark Streaming流式计算， GraphX和MLlib提供的常用图计算和机器学习算法。 One Stack to rule them all Spark整体架构 Spark简介 Spark SQL Spark Streaming GraphX (graph) MLlib (machine learning) Mesos YARN S3 Spark Standalone 存储层 资源调度层 计算层 工具层 Cassandra Hbase… Tachyon HDFS Spark提供了多种高级工具： Shark SQL应用于即席查询（Ad-hoc query）、Spark Streaming应用于流式计算、 MLlib应用于机器学习、GraphX应用于图处理。 Spark可以基于自带的standalone集群管理器独立运行，也可以部署在Apache Mesos 和 Hadoop YARN 等集群管理器上运行。 Spark可以访问存储在HDFS、 Hbase、Cassandra、Amazon S3、本地文件系统等等上的数据，Spark支持文本文件，序列文件，以及任何Hadoop的InputFormat。 目录 Spark简介 核心模块的实现 Spark应用 Spark与Hadoop的区别与联系 Spark总体流程 Spark应用库 Spark组件 Driver Program (驱动程序) 是Spark 的核心组件 构建SparkContext(Spark应用的入口,它负责和整个集群的交互，创建需要的变量，还包含集群的配置信息等) 将用户提交的job转换为DAG图(类似数据处理的流程图) 根据策略将DAG图划分为多个stage，根据分区从而生成一系列tasks 根据tasks要求向资源管理器申请资源 提交