4开源云计算系统简介.ppt

abiNtense通过使用基于网格的架构，有效的减少了大规模高性能计算的执行时间。abiData 由Hadoop Common、HBase和Pig开发而来，它是一个信息管理系统，可以用来搭建分析大量数据的应用。是一种低成本的云存储解决方案。 * 整个平台的构架清晰明了，不过有两个名词需要单独解释。abiCloud_WS是平台的虚拟工厂，它主要负责管理各种虚拟化技术。abiCloud_VMS(abiCloud Virtul Monitor System)用来监控虚拟化设备的运行状态。从图中我们也可以看出，abiCloud除了客户端采用了flex技术外，其他部分几乎都是由java语言来实现的。 * * * * * MongoDB 目标： --构建一个基于分布式文件存储系统的数据库 实现语言：C++ 平台：Linux * MongoDB的基本架构 * MongoDB的优势 均衡性 * 内容回顾 几套开源方案： --Hadoop、Eucalyptus、Nimbus、Sector and Sphere、abiquo、MongoDB 主要内容： --目标、平台、实现语言、基本架构 * 结束 * * * * * * * * * * * * * * * * * * * * 为了解决上述问题，每个虚拟机提供两个虚拟网络接口，一个作为公共接口，一个称为私有接口。公共接口的作用是和用户所管辖虚拟机的外部进行通信，或在由服务等级协议定义的可用区域的实例之间进行通信。 实例的私有接口只能在跨域的虚拟机之间进行通信，以解决不同虚拟机实例运行在独立的私有网络内但需要进行通信的问题。 * * * * Sector已经用于Sloan数字巡天系统。 * Sector采用主/从服务器模式，架构如图 6?4[34]所示。安全服务器维护用户的账户、密码、文件访问信息和授权的从节点的IP地址；主服务器维护存储在系统中的文件的元数据，控制所有从节点的运行，同时和安全服务器进行通信来验证从节点、客户服务器和用户；从节点用来存储数据，并对Sector客户端的请求进行处理。 * UDT协议，这一协议主要是针对极高速网络和大型数据集设计的。 * SPE是Sphere处理引擎（Sphere Processing Engine） 针对不同的应用会有不同的数据，Sphere统一的将它们以数据流的形式输入。为了便于大规模的并行计算，首先需要对数据进行分割。分割后的数据交给SPE执行。所谓的SPE是Sphere处理引擎（Sphere Processing Engine）的简写。SPE是Sphere的基本运算单元，除了进行数据处理外SPE还能起到负载平衡的作用。 * 开源云计算系统简介 主讲：李建伟 E-mail: jwli321@126.com * 现有开源云计算系统 开源云计算系统 对应的商用云计算系统 Hadoop HDFS Google GFS Hadoop MapReduce Google MapReduce Hadoop HBase Google Bigtable Hadoop ZooKeeper Google Chubby Eucalyptus、Enomaly ECP、Nimbus Amazon EC2 Eucalyptus Amazon S3 Sector and Sphere 无直接对应系统 abiquo 无直接对应系统 MongoDB 无直接对应系统 * Hadoop项目简介 Apache的解决方案 Google云计算 MapReduce BigTable GFS Chubby GFS--HDFS MapReduce--HadoopBigTable--HBase  * Hadoop项目简介 HDFS为了做到可靠性（reliability）创建了多份数据块（data blocks）的复制（replicas），并将它们放置在服务器群的计算节点中（compute nodes），MapReduce就可以在它们所在的节点上处理这些数据了。 * HDFS体系结构  NameNode?Master DataNode?Chunksever * HDFS关键运行机制--保障可靠性的措施 一个名字节点和多个数据节点 数据复制（冗余机制） --存放的位置（机架感知策略） 故障检测 --数据节点 心跳包（检测是否宕机） 块报告（安全模式下检测） 数据完整性检测（校验和比较） --名字节点（日志文件，镜像文件） 空间回收机制 * HDFS关键运行机制--写文件流程 客户端缓存 流水线复制 并发写控制 流程： 1.客户端把数据缓存到本地临时文件夹 2.临时文件夹数据超过64M，客户端联系NameNode， NameNode分