云数据管理技术与挑战精选版.pptVIP

主要内容 * Google 文件系统(GFS) 适用于大规模数据密集型应用程序的可扩展分布式文件系统 多个部署GFS的集群已经建成 目前最大的集群为： 10000多个存储节点 300+PB的存储容量 可供不同机器上的上百用户同时读取 * 介绍：观察1 控件的故障时常发生 系统集成了实时监控、错误检测、容错性和自动恢复等功能 超大文件（与普通文件相比） GB大小的文件很正常 * 介绍：观察2 大部分文件修改都是添加新的内容 需要考虑优化性能和保证原子性 协同设计应用程序和API有利于增加整个系统的灵活性 * 设计 集群包含一个master和多个chunkservers，并且可供多个用户读取 * GAE Web应用 GAE Web服务基础设施 分布式存储服务 应用程序运行时环境 应用开发套件 管理控制台 Google App Engine * 分布式存储服务 GAE提供的分布式存储服务基于BigTable技术 通过Java JDO/JPA接口或Python数据库标准接口访问和操作数据库 优势：成本低、支持伸缩、并发性好、易管理 采用乐观的并发控制 * 应用程序运行时环境 GAE的应用程序运行时环境是一个可伸缩的Web程序运行平台 目前支持Python和Java 可以使用Google提供的丰富的应用服务，如分布式存储服务、网页抓取、邮件、图像、Google账户等 * 云端应用 Google Docs是基于Web的文字处理和电子表格程序，支持在线协作、文档恢复、文档检索 Gmail是有效的电子邮件工具，支持即时消息、视频聊天、会话检索等 * * IBM TSAM IBM Tivoli Service Automation Manager(TSAM) 管理应用服务生命周期的方案 * IBM WebSphere CloudBurst IBM WebSphere CloudBurst Application(WCA) 帮助用户创建和管理面向服务的私有云平台 有效整合了云基础设施层和云平台层 Web控制台 基础设施管理 虚拟化解决方案部署 用户合格组管理 虚拟器件镜像模板管理 监控、审计和计费 脚本包管理 数据中心资源 管理 CRM系统 ERP系统 网上银行 … WebSphere Application Server WebSphere Process Server WebSphere Porial DB2 数据中心管理员 应用系统 SOA环境 WebSphere Cloudburst Appliance * IBM LotusLive 通过Web方式交付的服务 会议服务 LotusLive Meetings LotusLive Events 办公协作服务 LotusLive Engage LotusLive Connections 电子邮件服务 LotusLive Notes * IBM RC2 IBM Research Compute Cloud 东京 北京 新德里 海法 苏黎世 纽约 奥斯丁 阿尔玛登 * Amazon Web Service Amazon S3 Amazon EC2 Amazon SimpleDB Amazon SQS * Amazon S3 Amazon Simple Storage Service(S3) 云计算平台提供的可靠的网络存储服务 通过互联网访问和管理 安全性 账户认证 访问控制列表 查询字符串认证 可靠性 冗余备份的存储机制 * Amazon SimpleDB Amazon SimpleDB是一种支持结构化数据存储和查询操作的轻量级数据库服务 存储模型：域(Domain)、项(Item)、属性(Attribute) 现有不足 延迟较大 不能保证顺序执行用户更新 与关系型数据库兼容有限 * Amazon EC2 Amazon EC2是一种云基础设施服务 用户根据业务的需求自由地申请或者终止资源使用 优势 可伸缩性 节省成本 使用灵活 安全可靠 容错 * 基础服务 数据库服务 应用开发服务 应用打包服务 * 基础服务 F基础服务为上层服务和应用提供了安全、可靠的支撑环境 三个关键技术 多租户 元数据 安全架构 * 数据库服务 F数据库服务 数据模型 数据对象持久化 采用关系属性定义数据对象间的关系 数据操作 Web页面接口 编程接口 访问控制 管理安全 记录安全 * Windows Azure .NET服务 SQL Azure Live服务 * Microsoft Windows Azure Azure Fabric 控制器 存储服务 计算服务 开发环境 Windows Live Office Live Exchange Online SharePoint Online Dynamic