Mesos资源调与理的深入分享与交流实录.docxVIP

Mesos资源调度与管理的深入分享与交流（实录）上周（7月2日），我们有在CSDN Spark高端微信群通过圆桌的方式讨论了Spark集群资源管理所面临的挑战，四位嘉宾带来了非常精彩的分享。而昨天（7月9日），为了更加深入集群的资源调度与管理，我们邀请了数人科技创始人王璞与数人科技云平台负责人周伟涛为大家就Mesos等主题进行了深入的分享，下面我们就一起回顾分享的内容与超过40分钟的QA讨论。王璞，数人科技创始人。美国George Mason大学计算机Phd，擅长分布式计算、大规模机器学习、海量数据处理。曾担任 Google 广告部门数据平台构架师，参与分布式操作系统运维工具的开发。?周伟涛，数人科技云平台负责人。曾在Red Hat工作。Pythoner，对NLP，CI，Mesos和docker有丰富的实践经验。周伟涛：基于Mesos的集群调度与管理（实录）大家好，这里首先跟大家聊一些分布式系统的知识，然后说些我们搭建的Spark平台。分布式系统的原则：可伸缩性，没有单点失效，高可靠性，数据本地性。这是很常见的分布式系统的基本原则。这个大家可以参考王总以前的一篇CSDN文章。我们公司内部搭建了一套基于Spark、Mesos、Hue、HDFS 等开源技术的多租户，高可用的集群环境。大致的架构是这样的，用户可以一键将Docker化的Zeppelin利用Marathon发布到Mesos集