spark技术分享1.0研讨.pptxVIP

Spark 技术分享 1 2014.07.29 2 1.Spark基础 2.RDD 3.Spark Streaming 4.Spark on Yarn 5.Spark 项目经验分享 one stack to rule them all 3 BDAS(the Berkeley Data Analytics Stack) 4 Spark Ecosystem 5 为什么比hadoop快 6 大致的业务需求： 1.gn口数据，根据 手机号码、msisdn、lac、ci计算总流量 2.根据lac、ci关联小区表，得出结果为 手机号码、lac、ci、省、市、小区、总流量 ? hive执行 总时间 = 42.618 seconds? + 743.56 seconds? =?786.178?seconds? ? spark执行时间： 总时间 =?16.208245328?s ? 两者对比??786.178? ：??16.208245328? ≈ 48.5 :? 1 create table 4g_second_temp as select apn as im, lac, ci, sum(stat_up_bytes + stat_down_bytes) as total_flow from gn_4g group by apn,lac,ci; ? Time taken: 42.618 seconds ? create table 4g_second as select /*+MAPJOIN(4g_second_temp) */ b.im, a.lac, a.ci, vice, a.city, a.cell_desc, b.total_flow from cell a join 4g_second_temp b where a.lac=b.lac and a.ci = b.ci order by b.total_flow desc, vice, a.city; ? Time taken: 743.56 seconds hadoop集群环境：12台虚拟机from3台实体机 spark集群环境：8台虚拟机from2台实体机 Performance 7 MapReduce Map Map(k1,v1)-List(k2,v2) 8 MapReduce Reduce Reduce(k2,List(v2))-List(k3,v3) 9 Shuffle 10 Basic Concepts RDD Resillient distributed dataset 弹性分布数据集 Application Spark的用户程序 Driver Program 运行main函数并且新建SparkContext的程序 Cluster Manager Spark集群资源调度服务（standalone，mesos，yarn） Worker Node Spark集群中的运行应用代码的节点 Executor 在一个worker node上为某应用启动的一个进程，该进程负责运行任务，并且负责将数据存在内存或磁盘上。每个应用都用各自独立的executor Task 被送到某个executor上的工作单元 job 包含多个RDD及作用于RDD上的各种operation Stage 一个job分为多个阶段 DAG Directed Acycle graph有向无环图，反应stage、task、RDD的依赖关系 Narrow Dependency 窄依赖，子RDD依赖父RDD中固定的data partition Wide Dependency 宽依赖，子RDD对父RDD的所有data partition都有依赖 Caching Management 缓存管理，对RDD的中间计算结果进行缓存管理以加快整体的处理速度 11 spark cluster overview 12 核心组件 File,HDFS Cluster Manager 13 Spark Runtime 14 调度（scheduler） 15 Spark的骨架—Akka 16 Actor模型 轻量级对象 隔离计算实体 Share nothing 异步消息通知机制 不可变的消息，消息模型类似mailbox/queue Spark的骨架—Akka 17 1.有着非常好的容错性;2.对内存对象实现事务;3.能非常方便实现远程调用以及线程间通讯;4.能定制路由策略;5.良好的第三方框架的集成 Spark的容错（节点级别） 18 Master Exception Worker Exception Spark的容错（进程级别） 19 Executor Exception Spark Master HA 20 export SPARK_DAEMO