云数据管理技术与挑战.ppt

基础服务F基础服务为上层服务和应用提供了安全、可靠的支撑环境1三个关键技术多租户元数据安全架构2F数据库服务数据模型数据对象持久化采用关系属性定义数据对象间的关系数据操作Web页面接口编程接口访问控制管理安全记录安全WindowsAzure.NET服务SQLAzureLive服务AzureFabric控制器存储服务计算服务开发环境WindowsLiveOfficeLiveExchangeOnlineSharePointOnlineDynamicCRMOnlineLive服务.NET服务SQL服务SharePoint服务DynamicCRM服务应用Azure服务平台WindowsAzureMicrosoftSQLAzure云环境的数据管理系统不支持CLR、空间数据及一些系统管理功能（如启动、停止SQLServer）优势无需对数据库进行定期备份提供统一数据访问接口提供更健壮的服务云计算与云数据管理概述各大公司的云数据管理技术人民大学研究团队的部分工作云数据管理的研究挑战由人大多个学院和教授共同合作01针对淘宝—阿里巴巴海量的交易数据进行分析和挖掘02项目简介：人大—阿里巴巴云适合研究任务：研究任务*设计周期性自动指数计算系统，可以按月、周、天自动计算指数，发布类似K线图的动态指数宏观经济指数分析-参照人大三大发布项目开发指数平台，集成多种统计算法模型，提供横向对比分析

云数据管理技术与挑战陆嘉恒中国人民大学主要内容*云计算与云数据管理概述各大公司的云数据管理技术人民大学研究团队的工作云数据管理的研究挑战COMPUTINGCLOUD云数据管理准则（1）01PartitionEverythingandkey-valuestorage02切分万物以治之03数据库的第一范式无法满足云数据管理准则（2）EmbraceInconsistency容不同乃成大同数据库的ACID的属性无法满足010203云数据管理准则（3）Backupeverythingwiththreecopies狡兔三窟方高枕每个数据都有三个备份，达到99.999999%的保障度云数据管理准则（4）Scalableandhighperformance0102运筹沧海量兼容03提供一个可伸缩的，处理和分析海量数据的平台切分万物以治之容不同乃成大同狡兔三窟方高枕运筹沧海量兼容云计算与云数据管理概述各大公司的云数据管理技术人民大学研究团队的工作云数据管理的研究挑战Google文件系统(GFS)适用于大规模数据密集型应用程序的可扩展分布式文件系统多个部署GFS的集群已经建成目前最大的集群为：10000多个存储节点300+PB的存储容量可供不同机器上的上百用户同时读取介绍：观察1系统集成了实时监控、错误检测、容错性和自动恢复等功能控件的故障时常发生GB大小的文件很正常超大文件（与普通文件相比）0201介绍：观察2大部分文件修改都是添加新的内容需要考虑优化性能和保证原子性协同设计应用程序和API有利于增加整个系统的灵活性集群包含一个master和多个chunkservers，并且可供多个用户读取GAEWeb应用GAEWeb服务基础设施分布式存储服务应用程序运行时环境应用开发套件管理控制台GoogleAppEngine分布式存储服务GAE提供的分布式存储服务基于BigTable技术1通过JavaJDO/JPA接口或Python数据库标准接口访问和操作数据库2优势：成本低、支持伸缩、并发性好、易管理3采用乐观的并发控制4应用程序运行时环境GAE的应用程序运行时环境是一个可伸缩的Web程序运行平台目前支持Python和Java可以使用Google提供的丰富的应用服务，如分布式存储服务、网页抓取、邮件、图像、Google账户等云端应用Gmail是有效的电子邮件工具，支持即时消息、视频聊天、会话检索等GoogleDocs是基于Web的文字处理和电子表格程序，支持在线协作、文档恢复、文档检索IBMEnsemblesIBMTSAMIBMWebSphereCloudBurstIBMLotusLiveIBMRC2云环境管理解决方案IBMTivoliServiceAutomationManager(TSAM)管理应用服务生命周期的方案Web控制台基础设