网格与云计算关键技术.pptVIP

网格与云计算关键技术 主讲人：范之光 组员：毕秋实，陈志伟，李恩楠，徐鹏 主要内容 一、网格计算关键技术 二、云计算关键技术 三、网格计算与云计算的区别 网格计算关键技术 网格调度技术 资源管理技术 网格安全技术 网格调度技术 网格调度过程分为三个阶段：资源发现阶段、系统选择阶段和作业执行阶段。 其中，资源发现的目的是获得用户可以访问的满足作业最小要求的网格资源集合，它又分为三个步骤：① 授权认证。②应用需求定义。③产生满足应用最小资源需求的资源集合。 网格调度技术 第二个阶段根据作业的资源需求约束，对第一阶段产生的资源集合进行优化选择。 第三个阶段是作业执行阶段，分为以下几个步骤：①资源预留。② 作业提交。③ 执行任务的准备工作，如数据传输、错误处理等。④作业执行过程的监测。⑤作业完成，需要通知用户并清除临时数据、释放资源。 网格调度技术 网格调度系统：所有网格调度系统工作是在这样的基础上：要执行的新任务必须要使资源选择器知道，在当前的系统中，资源选择器扮演网格系统的网关，它将从全局目录中(如MDS)选择资源然后分配工作给可用的网格节点。 网格调度技术 主要的网格调度系统 Condor-G， PBS，LSF与Silver／Maui， KB Metascheduler， AppLes， Nimrod-G， Vega Grid。 资源管理技术 资源管理的关键问题是为用户有效地分配资源。高效分配涉及到资源分配和调度两个问题，一般通过一个包含系统模型的调度模型来体现，而系统模型则是潜在资源的一个抽象，系统模型为分配器及时地提供所有节点上可见的资源信息，分配器获得信息后将资源合理地分配给任务，从而优化系统性能。 资源管理技术 调度模型 网格资源组织模型 网格应用模型 资源性能预测模型 网格安全技术 已有的安全技术 密码技术：对称加密/非对称加密 安全传输技术：IPSEC/IPv6，SSL/SSH，S/MIME 安全认证技术：PKI和Kerberos 访问控制技术：DAC/MAC/RBAC，防火墙 Web Service安全技术 网格安全技术 GSI能够提供的安全功能 安全认证 通信加密 私钥保护 委托授权 单一登录 云计算关键技术 数据存储技术 数据管理技术 编程模型 数据存储技术 为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本。 另外，云计算系统需要同时满足大量用户的需求，并行地为大量用户提供服务。因此，云计算的数据存储技术必须具有高吞吐率和高传输率的特点。 数据存储技术 数据存储技术主要有谷歌的非开源的GFS (Google File System)和Hadoop开发团队开发的GFS的开源实现HDFS。 GFS系统由一个Master和大量块服务器构成。Master存放文件系统的所有元数据，包括名字空间、存取控制、文件分块信息、文件块的位置信息等。GFS中的文件切分为64 MB的块进行存储。 数据管理技术 云计算的特点是对海量的数据存储、读取后进行大量的分析，数据的读操作频率远大于数据的更新频率，因此，云计算的数据管理往往采用数据库领域中列存储的数据管理模式。将表按列划分后存储。 云计算的数据管理技术中最著名的是谷歌提出的BigTable数据管理技术。 数据管理技术 BigTable是一种为了管理结构化数据而设计的分布式存储系统，这些数据可以扩展到非常大的规模。BigTable对数据读操作进行优化，采用列存储的方式，提高数据读取效率。 BigTable在执行时需要三个主要的组件：链接到每个客户端的库，一个主服务器，多个记录板服务器。 编程模型 云计算大部分采用Map-Reduce的编程模型。该编程模型仅适用于编写任务内部松耦合、能够高度并行化的程序。 Map-Reduce是一种处理和产生大规模数据集的编程模型，程序员在Map函数中指定对各分块数据的处理过程，在Reduce函数中指定如何对分块数据处理的中间结果进行归约。 编程模型 执行一个Map-Reduce程序需要五个步骤： 输入文件， 将文件分配给多个worker并行地执行， 写中间文件(本地写)， 多个Reduce workers同时运行， 输出最终结果。 网格计算与云计算的区别 感谢小组成员：毕秋实，陈志伟，李恩楠，徐鹏为PPT提供的大量资料！ 谢谢大家！ * * 网格安全技术 现有的网格安全实现GSI Globus Security Infrastructure GSI是为用户和应用程序提供用来安全地访问网格资源的一组工具、类库和协议 基于公