超级有价值的云计算资料大全课件.ppt

在过去的十多年中集群网络的重要进展之一是可以将成千上万的节点连起来，同时保证高可扩展性和相对较低的通讯开销。 采用商用化的技术来构造可扩展的集群是云存储的基本组件。 搭积木的形式来聚合存储组件。 云存储理想架构 挑战1：名字空间 存储器空间的组织和分配，数据的存储、保护和检索都依赖于文件系统。 文件系统由文件和目录构成文件系统的树形层次化结构。包括集群文件系统。 当数据的访问从树根走向树叶的时候，访问的延迟会响应的增加。如果不知道文件保存位置，必须遍历整个目录。 还有两个重要的因素导致树形架构不适合于云存储环境： （1）树根本身就是一个单一失效点，而且很容易形成系统的瓶颈。 （2）树形架构很难在Internet上扩展到地理上分布的规模。 云存储只有采用非集中式的名字空间来避免潜在的性能瓶颈和单点失效。 挑战2：元数据 元数据是描述数据的数据，主要用来反映地址信息和控制信息，通常包括文件名、文件大小、时间戳、文件属性等等。 在文件系统的操作中，超过50%的操作是针对元数据的. 另有研究指出，使用NFS 3.0时，其客户端和服务器端交互的信息中65%的信息是和元数据相关的。 元数据是小的随机请求。 和存储容量的增长不同，机械组件所带来的延迟，磁盘的平均访问时间每年的降低不足8%。 小的随机请求,寻道时间是磁盘访问延迟中最组要的部分。这是由于磁头的稳定时间主导着磁盘的寻道时间，而且磁头的稳定时间数年来基本上没有太大的变化。 因此，对于大规模系统来讲，元数据的访问往往成为制约整个系统性能的瓶颈。 云传输 云传输：广域网性能 Nielsen 法则：终端用户的网络带宽以每年50%的速度增长。 广域网： 一条T1线路的带宽只相当于千兆网的千分之一，许多帧中继线路的带宽只有256Kbits/秒。 Garfinkel 通过测量发现从美国伯克利大学到西雅图的平均网络写带宽大约是5 to 18 Mbits/秒。 我们的测量数据：在格林尼治标准时间下午7点到10点，从英国剑桥大学到中国北京的平均网络带宽大约是1.8 Mbits每秒。 由于广域网物理距离的原因，不可避免的时延也会对带宽造成影响。例如，一个T3链路（44.736 Mbits/秒），当时延超过40ms时，其带宽很快就下降到与T1链路（1.544 Mbits/秒）相当。 简单计算 基于以上的测试数据，如果假设网络带宽为20 Mbits/秒，从美国伯克利大学传输10TB数据到西雅图需要45天的时间 如果通过亚马逊（S3）来进行该数据传输，需要另外向亚马逊支付1000美金的网络传输费用。 云传输可能的解决方案 云环境必须是地理上分布的，因为云的成功在很大程度上决定于其规模效应。 计算和存储相对便宜，然而，由于广域网环境下的低带宽、高延迟和较高的丢包率，使得广域网成为云环境下那块最短的木板。 图灵奖获得者Jim Gray 在2006年就指出在广域网上处理大数据集时，应该将程序传给数据，而不是将数据传给程序。 另外，通过数据压缩、数据的去重等方法来减少网域网上的数据传输流量，降低对网络带宽的需求。采用动态缓存、IP流量管理以及QoS等方法来降低广域网的延迟。 但是，这些方法只能在一定程度上来缓解网络瓶颈问题，不能从根本上解决问题。因此，在设计云架构时，必须要考虑广域网的带宽、延迟和包丢失率所带来的影响。 云环境下的传输协议 目前广泛使用的TCP/IP协议是在实验室低速网络环境下诞生的，在设计初期只是为了保证数据在链路上的可靠传输。因此，它并不是为广域网而设计的网络传输协议。 TCP/IP协议的滑动窗口，重传和恢复等机制使得广域网的传输效率急剧下降。 TCP的窗口尺寸、慢启动等机制也无法充分利用已有的网络带宽。 我们需要重新审视在大规模数据传输的情况下广域网的性能优化相关的一系列问题。 市场前景 调研机构IDC估计2009年全球云计算支出达到174亿美元，同时预测2009年到2014年该领域的销售收入将增加21.6%。 CCW Research估计中国软件即服务(SaaS)市场在2008为198.4亿元人民币，并在随后两年内保持24.5%的年增长幅度，于2013年底达到613亿元人民币。 Springboard Research预计，截止2010年底中国云市场增长56%，达到1.71亿美元(11.6亿元人民币)。 虽然市场调研公司对云支出走势的预测存在较大的差异。但无不肯定了云计算领域的广泛前景。 云技术 概要 背景 云体系结构 云计算 云存储 云传输 讨论 阿喀琉斯之踵 古希腊神话中的阿喀琉斯是海神之子，荷马史诗中的英雄，传说他的母亲曾把他浸在冥河里使其能刀枪不入。但因冥河水流 湍急，母亲捏着他的脚后跟不敢松手，所以其脚踵是最脆弱的地方。 在特洛伊战争中，阿喀琉斯杀死了特洛伊王子赫克