Spark Job Server：简化Spark作业管理与服务化.pdfVIP

SparkJobServer

EvanChanandKelvinChu

Date

概述

Overview

为什么我们需要一个作业服务器

•创建于2013年的Ooyala

•我们对Spark的愿景是多团队的大数据服务

•每个团队都会重复的工作：

•用于运行Hadoop/Spark作业的堡垒机

•部署和进程

•和序列化作业状态、进度和作业结果

•作业验证

WhyWeNeededaJobServer

•CreatedatOoyalain2013

•OurvisionforSparkisasamulti-teambigdataservice

•Whatgetsrepeatedbyeveryteam:

•BastionboxforrunningHadoop/Sparkjobs

•Deploysandprocessmonitoring

•Trackingandserializingjobstatus,progress,andjobresults

•Jobvalidation

Spark作为服务

•RES