云计算-主流解决方案.pptVIP

* * ?客户端首先访问Master节点，获取交互的Chunk Server信息，然后访问这些Chunk Server，完成数据存取工作。这种设计方法实现了控制流和数据流的分离。 ?Client与Master之间只有控制流，而无数据流，极大地降低了Master的负载。 ?Client与Chunk Server之间直接传输数据流，同时由于文件被分成多个Chunk进行分布式存储，Client可以同时访问多个Chunk Server，从而使得整个系统的I/O高度并行，系统整体性能得到提高。 * BigTable为谷歌旗下的搜索、地图、财经、打印、以及社交网站Orkut、视频共享网站YouTube和博客网站Blogger等业务提供技术支持。 * 本质上说，Bigtable是一个键值（key-value）映射。Bigtable的键有三维，分别是行键（row key）、列键（column key）和时间戳（timestamp），行键和列键都是字节串，时间戳是64位整型；而值是一个字节串。 * Bigtable的表会根据行键自动划分为片（tablet），片是负载均衡的单元。最初表都只有一个片，但随着表不断增大，片会自动分裂，片的大小控制在100-200MB。 * 行是表的第一级索引，我们可以把该行的列、时间和值看成一个整体，简化为一维键值映射。列是第二级索引，每行拥有的列是不受限制的，可以随时增加减少。为了方便管理，列被分为多个列族（column family，是访问控制的单元），一个列族里的列一般存储相同类型的数据。一行的列族很少变化，但是列族里的列可以随意添加删除。 * 时间戳是第三级索引。 * Webtable表存储了大量的网页和相关信息。在Webtable，每一行存储一个网页，其反转的url作为行键，比如”com.google.maps“，反转的原因是为了让同一个域名下的子域名网页能聚集在一起。图1中的列族anchor保存了该网页的引用站点（比如引用了CNN主页的站点），qualifier是引用站点的名称，而数据是链接文本；列族contents保存的是网页的内容，这个列族只有一个空列contents:。图中contents:列下保存了网页的三个版本，我们可以用(n.www, contents:, t5)来找到CNN主页在t5时刻的内容。 Google的很多服务比如网页检索和用户的个性化设置等都需要保存不同时间的数据，这些不同的数据版本必须通过时间戳来区分。图2中内容列的t3、t5和t6表明其中保存了在t3、t5和t6这三个时间获取的网页。Bigtable中的时间戳是64位整型数，具体的赋值方式可以采取系统默认的方式（代表数据进入Bigtable的准确时间），也可以用户自行定义 * Bigtable数据库的架构，由主服务器和分服务器构成，如图1所示。如果我们把数据库看成是一张大表，那么可将其划分为许多基本的小表，这些小表就称为tablet，是bigtable中最小的处理单位了。主服务器负责将Tablet分配到Tablet服务器、检测新增和过期的Tablet服务器、平衡Tablet服务器之间的负载、GFS垃圾文件的回收、数据模式的改变（例如创建表）等。Tablet服务器负责处理数据的读写，并在Tablet规模过大时进行拆分。 Bigtable使用集群管理系统来调度任务、管理资源、监测服务器状态并处理服务器故障。 BigTable将数据存储分为两部分：最近的更新存储在内存（memtable）中，较老的更新则以SSTable的格式存储在GFS，后者是主体部分，不可变的数据结构。写操作的内容插入到memtable中，当memtable的大小达到一个阈值时就冻结，然后创建一个新的memtable，旧的就转换成一个SSTable写入GFS。 Bigtable使用分布式的锁服务Chubby来保证集群中主服务器的唯一性、保存Bigtable数据的引导区位置、发现Tablet服务器并处理Tablet服务器的失效、保存Bigtable的数据模式信息、保存存取控制列表。 * 基于对中国市场的了解和IBM全球的资源，IBM于今年推出了6+1解决方案。该方案能够帮助企业提供6+1种情景的云环境，包括软件开发测试云、SaaS云、创新协作云、高性能计算云、云计算IDC、企业云以及一个能够快速部署的云计算环境，从而帮助各类企业解决所需计算资源问题。 * 云计算主流解决方案 主流解决方案厂商的发展策略及现状 主流解决方案——Google云计算 数据存储在“云”中 数据访问不受地理位置限制 数据能够很方便的共享 Google云计算技术具体包括： Google文件系统海量数据分布存储技术( GFS)、 分布式计算编程模型MapReduce、 分布式锁服