北邮邹华教授《分布式环境》课件chapter6_面向资源整合的分布计算环境p.ppt

S3做得很成功，一般I层的软件都要支持S3定义的接口，所以他可以看做是行业的标准了。 亚马逊的云平台是由许多服务组合而成的，我们现在开发的项目中，主要使用EC2，S3,EBS和将要使用MapReduce,SQS服务。在2年的开发和运营中这些服务使用的便利性和服务的健壮性为我们节约了许多时间和人力，但同时因为对这些服务理解的错误，而使用方法不当导致运营事故。 S3全称是Simple Storage Service,主要用于长久存储数据。S3服务会对用户上传的数据，作多备份存储，基本上可以保证用户数据的不丢失。我们公司所有web服务器中记录的apache log信息等都会压缩后保存在S3中。 ? ? ? ?EC2全称是Elastic Compute Cloud,可以根据需要灵活定义计算能力。在EC2中预定了许多种instance types，每种类型定义虚拟cpu主频和虚拟内存数量。每种类型可以作为模板启动instance，对这个instance你拥有完整的控制权就好像原来一台单独放在机房机架中的服务器。从选择instance types到启动这台instance只需要几分钟，费用是按照使用小时数计算。这种灵活性的好处就是当前系统原有计算能力不足时，可以迅速启动一台更高计算能力的instance顶替原有instance来增加计算能力，或者是启动一台与原有instance相同类型的instance,与原有instacne形成群集来增加计算能力。一旦峰值过后，就可以换回原有类型或关闭不再需要的机器，释放不需要的计算能力。如果在系统设计之初就充分考虑到这样的灵活性，所运行程序有自我监控和自我扩展能力，一旦某台instance出现不可修复错误时，系统通过新起instance 获得修复。 ?EBS全称Elastic Block Store,这个服务作为EC2的补充，增加更多的灵活性。EC2虽然可以方便启动使用再随时关闭，但是如果一台instance被关闭，所有与其有关包括虚拟硬盘数据都将被清除，如果希望这台instance虚拟硬盘上的数据能够被重复利用，那么最好方法就是在启动这台instance时选择使用EBS服务作为虚拟硬盘挂载在instance上，当这台instance被关闭后，可以将这个EBS块挂载到其他instance上。 ? ? ? ?EC2，EBS和S3服务组合起来，完全就替代了原来的服务器租用或者托管需求。基于这样的理解，我们在最初架构应用时将EC2的每个instance完全当作一台服务器来使用，在很长一段时间里这样的使用都没有问题，SA搭建服务器群集非常迅速简捷。但后来出现有instance在管理界面上显示正常，实际却已经不能提供正常服务的情况，人工启动新instance修复服务的方式导致出现短时间的服务中断事故。所以在使用EC2时应该增加程序状态检查，服务器状态检查，以及当instance故障时自动启动新instance等功能 ，这样才能充分利用到EC2的特性。 ? ? ? ? 后来随着数据运算量的增加，我们在作部分数据运算时使用了高阶instance类型。这样的计算在一天24小时中大概只进行2到3小时，如果始终运行着这样的高阶instance将会造成很大的浪费。所以我们选择了按需开启instance的方式，这台 instance操作系统与程序代码等都放置在EBS上，另外有一台instance负责在需要时间点启动这台高阶instance，并挂载EBS，然后将当天需要运算的数据从S3拷贝到EBS上，计算结束后，程序代码检查结果数据，确认正确，返回正确结束码，高阶instance关闭自己。 ? ? ? ?以上就是目前我对亚马逊云计算平台的应用。MapReduce和SQS在目前新项目中将被大量使用，我会在下篇博客中介绍。 * 这个价格可能已经变。 * 这个价格可能已经变。 * 这个价格可能已经变。 * 做促销，用它最小的服务器不要钱 * 做促销，用它最小的服务器不要钱 * 做促销，用它最小的服务器不要钱 * 这个网站所有的东西都放在亚马逊。 * 这个网站所有的东西都放在亚马逊。 * 当访问量很大时，把内容放到云上 如很多文章的批量处理，如格式转换，处理1千万个文章，要用一个月？做批量处理时，放到云上。 * ？？？？ * * 幻灯片目的： 指出传统 x86 服务器的一些局限性，同时简单地描述一下虚拟化可做些什么 要点： 对于传统的 x86 服务器： 操作系统局限于硬件，因为操作系统根据硬件配置来自定义 通常在一台服务器上您只能运行一个负载，以避免应用程序的冲突问题和可以为某个特定应用程序调节操作系统 这种体系结构和它的不灵活性很大程度上导致了服务器数量的增加和服务器利用率的降低 VMware 的服务器虚拟化技术可以