docker-mesos 源码安装.pdfVIP

1.初初识识Mesos 1.1Mesos 架架构构简简介介 Mesos实现了两级调度架构，它可以管理多种类型的应用程序。第一级调度 Master的守护进程，管理Mesos集群中所有节点上运行的Slave守护进 程。集群由物理服务器或虚拟服务器组成，用于运行应用程序的任务，比如Hadoop和MPI作业。第二级调度由被称作Framework的“组件”组成。 Framework包括调度器 （Scheduler ）和执行器 （Executor ）进程，其中每个节点上都会运行执行器。Mesos能和不同类型的Framework通信，每种 Framework由相应的应用集群管理。上图中只展示了Hadoop和MPI两种类型，其它类型的应用程序也有相应的Framework。 1.2 Mesos 工工作作流流 Mesos Master协调全部的Slave，并确定每个节点的可用资源， 聚合计算跨节点的所有可用资源的报告，然后向注册到Master的Framework （作为 Master的客户端）发出资源邀约。Framework可以根据应用程序的需求，选择接受或拒绝来自master的资源邀约。一旦接受邀约，Master即协调 Framework和Slave，调度参与节点上任务，并在容器中执行，以使多种类型的任务，比如Hadoop和Cassandra，可以在同一个节点上同时运行。 Slave 1向Master汇报其空闲资源：4个CP 、4GB内存。然后，Master触发分配策略模块，得到的反馈 Framework 1要请求全部可用资源。 Master向Framework 1发送资源邀约，描述了Slave 1上的可用资源。 Framework的调度器 （Scheduler ）响应Master，需要在Slave上运行两个任务，第一个任务分配2 CP s, 1 GB RAM资源，第二个任务分配1 CP s, 2 GB RAM资源。 最后，Master向Slave下发任务，分配适当的资源给Framework的任务执行器 （Executor ）,接下来由执行器启动这两个任务 （如图中虚线框所 示）。 此时，还有1个CP 和1GB的RAM尚未分配，因此分配模块可以将这些资源供给Framework 2 。 问题来了：如何在Mesos不知道应用框架存在特殊限制条件的前提下满足其限制条件？比如，在Mesos不知道哪个节点存储着应用所需要的数据时，应 用框架如何满足数据处理的本地化要求？Mesos的处理方式 让应用直接拒绝 （reject ）资源邀约。应用会拒绝不满足其限制条件的资源邀约，而只接 受满足条件的资源。特别指出的 ，我们发现了一种简单的策略，称之为延迟调度 （delay scheduling ）机制，即应用可以等待一定的时间，来获得存 储需要数据的相应节点，从而获得近似优化过的数据本地处理结果。 1.3 Frameworks On Mesos 蓝色： 支持运行 Long-Running 的应用，我们就 基于这些工具来搭建 PaaS 平台的 绿色：大数据处理的工具，这些工具 搭建大数据平台的基础 紫色：批处理工具，利用批处理工具可以搭建一个基本的持续集成平台，尤其 Jenkins 红色：大数据存储的工具，其中 Cassandra 无中心分布式存储的， Es 一个基于Apache Lucene™的开源搜索引擎 除此之外，比较常见的工 具还有 Singularity: 同时支持运行 Long-Running 应用与批处理 Job 2.入入门门教教程程 下下载载Mesos 有两种方法： 1.从 Apache官方网站下载 (推荐) $ wget http://www ./dist/mesos/0 .24 .0/mesos-0 .24 .0 .tar.gz $ tar -zxf mesos-0 .24 .0 .tar.gz 2.克隆Mesos的 git 代码仓库 repository (适用于高级用户) $ git clone /repos/asf/mesos.git 系系统统要要求求 Mesos 可运行在 Linux (64 Bit) 和 Mac OS X (64 Bit)上。 CentOS 6.6 # 安装基础工具 $ sudo yum install -y tar wget which # Mesos 0 .21.0 需要 完整支持 C++11 的编译器， (比如 GCC 4 .8)的工具中 有 devtoolset-2 可