云数据管理技术与挑战.pdf

云数据管理技术与挑战 中国人民大学 主要内容 云计算与云数据管理概述  各大公司的云数据管理技术  人民大学研究团队的工作  云数据管理的研究挑战 2 云数据管理的新思维 云数据管理准则（1） • Partition Everything and key-value storage • 切分万物以治之 •数据库的第一范式无法满足 云数据管理准则（2 ） • Embrace Inconsistency • 容不同乃成大同 •数据库的ACID 的属性无法满足 云数据管理准则（3 ） • Backup everything with three copies • 狡兔三窟方高枕 • 每个数据都有三个备份，达到99.999999% 的保障度 云数据管理准则（4 ） • Scalable and high performance •运筹沧海量兼容 • 提供一个可伸缩的，处理和分析海量数据的 平台 拨云见日 • • • • 主要内容 云计算与云数据管理概述  各大公司的云数据管理技术  人民大学研究团队的工作  云数据管理的研究挑战 11 主要内容 Google 文件系统(GFS) • 适用于大规模数据密集型应用程序的可扩 展分布式文件系统 • 多个部署GFS的集群已经建成 • 目前最大的集群为： – 10000多个存储节点 – 300+PB 的存储容量 – 可供不同机器上的上百用户同时读取 介绍：观察1 • 控件的故障时常发生 – 系统集成了实时监控、错误检测、容错性和自 动恢复等功能 • 超大文件（与普通文件相比） – GB大小的文件很正常 介绍：观察2 • 大部分文件修改都是添加新的内容 – 需要考虑优化性能和保证原子性 • 协同设计应用程序和API有利于增加整个系 统的灵活性 设计 • 集群包含一个master和多个 chunkservers，并且可供多个用户读取 GAE Web应用 Google App Engine 应用程序运行 分布式存储服务 应用开发套件 管理控制台 时环境 GAE Web服务基础设施 分布式存储服务 • GAE提供的分布式存储服务基于BigTable 技术 • 通过Java JDO/JPA接口或Python数据库标 准接口访问和操作数据库 • 优势：成本低、支持伸缩、并发性好、易 管理 • 采用乐观的并发控制 应用程序运行时环境 • GAE的应用程序运行时环境是一个可伸缩 的Web程序运行平台 • 目前支持Python和Java • 可以使用Google提供的丰富的应用服务， 如分布式存储服务、网页抓取、邮件、图 像、Google账户等 云端应用 • Google Docs是基于Web 的文字处理和电子 表格程序，支持在线协作、文档恢复、文 档检索 • Gmail是有效的电子邮件工具，支持即时消