阿里云飞天总体架构.pptVIP

飞天总体架构 * * 目录 飞天体系结构 分布式基础架构 分布式文件系统--盘古 任务调度--伏羲 集群监控--神农 飞天应用 什么是飞天？ 飞天操作系统（项目代号“Apsara”）是阿里云公司自主研发的分布式计算平台。 它的主要设计目标是通过构建一套综合性的软硬件系统，使得用户（或应用系统）可以像使用一台计算机一样，便捷地使用数以千计的服务器的存储资源和计算资源。 飞天通过对软件系统的合理分层，使得“强调响应速度的在线服务（Online Service）”和“强调处理数据吞吐量的离线任务（Batch Processing Job）”可以共享一个物理集群的计算、存储和网络资源，以期大幅提示大规模集群的使用效率。 * 飞天体系结构 * 飞天体系结构-1 分布式系统底层服务：主要提供分布式环境下所需要的协调服务（女娲）、远程过程调用（夸父）、以及提供系统安全的钟馗模块。 分布式文件系统：主要提供一个海量的、可靠的、可扩展的数据存储服务，将集群中各个节点的存储能力聚集起来，并能够自动屏蔽软硬件故障，为用户提供不间断的数据访问服务。 * 飞天体系结构-2 任务调度：为集群系统中的任务提供调度服务，同时支持强调响应速度的在线服务（Online Service）和强调处理数据吞吐量的离线任务（Batch Processing Job） 集群监控和部署：对集群的状态和事件进行监控，对异常事件产生警报和记录；为运维人员提供整个飞天系统以及上层应用的部署和配置管理，支持在线集群扩容和应用服务的在线升级。 * * 目录 飞天体系结构 分布式基础架构 分布式文件系统--盘古 任务调度--伏羲 集群监控--神农 飞天应用 分布式基础架构 命名服务——女娲 女娲（Nuwa）系统为飞天平台提供高可用的协调服务（Coordination Service），是整个飞天系统的一个核心服务，它的作用采用类似文件系统的树形命名空间来让分布式进程互相协同工作。女娲系统与 Google 的 Chubby 和 Hadoop 的 ZooKeeper系统的功能与实现相似。 女娲服务存储了大量的键值对（Key-Value Pair) 女娲支持 Publish/Subscribe 模式 女娲还可以用来实现负载均衡 * 分布式基础架构 远程过程调用（RPC）——夸父 夸父（Kuafu）是飞天平台中负责网络通信的组件，它提供了一个RPC 的接口，简化编写基于网络的分布式应用。 异步调用：RPC 函数调用时不等接收到结果会立即返回；用户必须通过显式调用接收函数取得请求结果。 同步调用：RPC 函数调用时会等待，直到接收到结果才返回。在实现中，同步调用是通过封装异步调用来实现的。 * 分布式基础架构 安全管理——钟馗 飞天操作系统中安全管理的机制提供了以用户为单位的身份认证和授权，以及对集群数据资源和服务进行的访问控制。 用户的身份认证（Authentication）是基于密钥机制的 用户对资源的访问控制是基于Capability机制进行授权（Authorization）的。 Capability类似于乘地铁的地铁票 * * 目录 飞天体系结构 分布式基础架构 分布式文件系统--盘古 任务调度--伏羲 集群监控--神农 飞天应用 分布式文件系统——盘古 飞天操作系统中数据存储是由分布式文件系统（项目代号盘古 Pangu）完成的。 盘古与 Google 文件系统（GFS） 和 Hadoop 的 HDFS 的设计目标有一致的部分，都是将大量廉价机器的存储资源聚合在一起，为用户提供大规模、高可靠、高吞吐量、高可用和可扩展的存储服务，是集群操作系统中的一个重要组成部分。 盘古还能很好的支持在线应用的低延时需求，这是GFS和HDFS所不具备的。 * 盘古的特点 大规模： 能够支撑 5000 台规模的大集群，支持 10PB 量级的存储大小。 高可靠： 保证数据和元数据（Metadata）是持久保存并能够正确访问的，保证所有数据存储在处于不同机架的三个节点上面。 高可用： 保证用户能够不中断地访问数据，降低系统的不可用服务时间。 高吞吐量： 运行时系统 I/O 吞吐量能够随机器规模线性增长，保证响应时间。 高可扩展性： 保证系统的容量能够通过增加机器的方式得到自动扩展，下线机器存储的数据能够自动迁移到新加入的节点上。 * 盘古系统设计 * 主服务器Master: 存储元数据 块服务器Chunk server: 存储大块的文件 （64M/块） 客户端读盘古文件： 主服务器获得元数据信息 块服务器传输数据 客户端写盘古文件： 建立客户端到3个块服务器的连接 客户端写入主副本 主副本向其他副本发送数据