虚拟化技术与云计算_第一讲_20110908.ppt

虽然华盛顿邮报社没有足够的运算处理能力，但是云给了它强大的资源以帮助其快速完成任务，而它仅需要根据实际使用量来付费。 * * 三种模式又可以分别作为服务对用户开放 * * 云计算基础设施中包括了数以万计的计算机，如何有效地整合资源降低运行成本，节省运行计算机所需要的能源同样是一个值得关注的热点问题。 * 云计算基础设施中包括了数以万计的计算机，如何有效地整合资源降低运行成本，节省运行计算机所需要的能源同样是一个值得关注的热点问题。 * 出现的原因：随着输入数据量的剧增,并且这些数据计算只有被分布在成百上千的机器上才能在可以接受的时间内完成.怎样并行计算,分发数据,处理错误,所有这些问题综合在一起,使得原本很简介的计算,因为要大量的复杂代码来处理这些问题,而变得让人难以处理. 优势：第一,这个模型使用简单,甚至对没有并行和分布式经验的程序员也是如此,因为它隐藏了并行化,容错,位置优化和负载均衡的细节.第二,大量不同的问题可以用MapReduce计算来表达.例如,MapReduce被用来,为Google的产品web搜索服务,排序,数据挖掘,机器学习,和其他许多系统,产生数据.第三,我们已经在一个好几千台计算机的大型集群上开发实现了这个MapReduce.这个实现使得对于这些机器资源的利用非常简单,因此也适用于解决Google遇到的其他很多需要大量计算的问题. * 云计算基础设施中包括了数以万计的计算机，如何有效地整合资源降低运行成本，节省运行计算机所需要的能源同样是一个值得关注的热点问题。 * * Google文件系统 Google File System - GFS ，用来满足Google迅速增长的数据处理需求。GFS与过去的分布文件系统拥有许多相同的目标，例如性能，可伸缩性，可靠性以及可用性。然而，它的设计还受到我们对我们的应用负载和技术环境观察的影响，不管现在还是将来，我们和早期文件系统的假设都有明显的不同。所以我们重新审视了传统的选择，采取了完全不同的设计观点。 首先，组件失效不再被认为是意外，而是被看做正常的现象。这个文件系统包括几百甚至几千台普通廉价部件构成的存储机器，又被相应数量的客户机访问。组件的数量和质量几乎保证，在任何给定时间，某些组件无法工作，而某些组件无法从他们的目前的失效状态恢复。我们发现过，应用程序bug造成的问题，操作系统bug造成的问题，人为原因造成的问题，甚至硬盘、内存、连接器、网络以及电源失效造成的问题。所以，常量监视器，错误侦测，容错以及自动恢复系统必须集成在系统中。 其次，按照传统的标准来看，我们的文件非常巨大。数G的文件非常寻常。每个文件通常包含许多应用程序对象，比如web文档。传统情况下快速增长的数据集在容量达到数T，对象数达到数亿的时候，即使文件系统支持，处理数据集的方式也就是笨拙地管理数亿KB尺寸的小文件。所以，设计预期和参数，例如I/O操作和块尺寸都要重新考虑。 第三，在Google大部分文件的修改，不是覆盖原有数据，而是在文件尾追加新数据。对文件的随机写是几乎不存在的。一般写入后，文件就只会被读，而且通常是按顺序读。很多种数据都有这些特性。有些数据构成数据仓库供数据分析程序扫描。有些数据是运行的程序连续生成的数据流。有些是存档的数据。有些数据是在一台机器生成，在另外一台机器处理的中间数据。对于这类巨大文件的访问模式，客户端对数据块缓存失去了意义，追加操作成为性能优化和原子性保证的焦点。 第四，应用程序和文件系统API的协同设计提高了整个系统的灵活性。例如，我们放松了对GFS一致性模型的要求，这样不用加重应用程序的负担，就大大的简化了文件系统的设计。我们还引入了原子性的追加操作，这样多个客户端同时进行追加的时候，就不需要额外的同步操作了。 * 云计算基础设施中包括了数以万计的计算机，如何有效地整合资源降低运行成本，节省运行计算机所需要的能源同样是一个值得关注的热点问题。 * 云计算基础设施中包括了数以万计的计算机，如何有效地整合资源降低运行成本，节省运行计算机所需要的能源同样是一个值得关注的热点问题。 * 云计算基础设施中包括了数以万计的计算机，如何有效地整合资源降低运行成本，节省运行计算机所需要的能源同样是一个值得关注的热点问题。 * 云计算基础设施中包括了数以万计的计算机，如何有效地整合资源降低运行成本，节省运行计算机所需要的能源同样是一个值得关注的热点问题。 * 1.研究云计算可信体系架构，采用访问控制、加密传输及密钥管理等用于保证云计算环境中资源的机密性和完整性，保证可信信息在存储、更新、传播时的安全性以及资源的安全共享。 2.研究云计算环境下监管与企业信息风险管理，制定可重复、可测量、可持续、可防御、可持续改进的风险管理与资产评估机制。 3.研究虚