大数据BigData培训课件.pptVIP

RDBMS 和MapReduce 技术的竞争与相互渗透 MapReduce 技术在广泛用于搜索相关的数据分析工作之后,随着其性能的不断提升和应用领域的扩展,迅速成为RDBMS 的年轻的竞争者,两者的竞争也促进了其相互学习和渗透 * 第六十三页，共一百零二页。 RDBMS 和MapReduce 技术的竞争与相互渗透 RDBMS 与MapReduce 的特点比较 * 第六十四页，共一百零二页。 RDBMS 和MapReduce 技术的竞争与相互渗透 MIT 的研究人员借鉴MapReduce 的容错思想,试图在Shared Nothing 架构的并行数据库系统上实现更高的容错性能,取得良好的容错和负载均衡效果. * 第六十五页，共一百零二页。 RDBMS 和MapReduce 技术的竞争与相互渗透 HadoopDB是试图混合MapReduce 和RDBMS 技术的一项重要工作 在HadoopDB 中,系统清晰地分成两层,上层使用Hadoop 进行任务的分解和调度,下层用RDBMS(Postgresql)进行数据的查询和处理 * 第六十六页，共一百零二页。 RDBMS 和MapReduce 技术的竞争与相互渗透 HadoopDB的创新之处是: 试图利用Hadoop 的任务调度机制提高系统的扩展性和容错性,以解决大数据分析的横向扩展问题; 利用RDBMS 实现数据存储和查询处理,以解决性能问题.在其性能实验中,HadoopDB 的性能仍然落后于关系数据库系统. * 第六十七页，共一百零二页。 RDBMS 和MapReduce 技术的竞争与相互渗透 Yale 大学Abadi 领导的小组正在使用包括列存储、持续装载和分析等技术,以改进HadoopDB 的性能 * 第六十八页，共一百零二页。 RDBMS 和MapReduce 技术的竞争与相互渗透 Greenplum(已被EMC收购)和Aster Data（已被TERADATA收购）是两家新兴的面向大数据分析的公司,他们采用的策略是在MPP 架构的并行数据库里内置地支持MapReduce,其核心引擎同时作为MapReduce 作业的执行引擎 * 第六十九页，共一百零二页。 RDBMS 和MapReduce 技术的竞争与相互渗透 两家公司正在进行一项重要的工作,即对分析函数进行MapReduce 风格的并行化.通过并行化,数据分析函数的执行性能大幅提升. 通过引进MapReduce 计算模型的思想,对传统的并行数据库进行改造,两家公司的MPP 架构的并行数据库系统可以轻松扩展到几百个节点的规模. * 第七十页，共一百零二页。 RDBMS 和MapReduce 技术的竞争与相互渗透 Aster Data 更是在2010 年中发布了超过30 个的分析软件包,提供上千个可以定制的分析函数,这些函数都将以并行的方式运行在MPP 平台上,从而在性能上大大超越传统的RDBMS 用户自定义函数(UDF). * 第七十一页，共一百零二页。 RDBMS 和MapReduce 技术的竞争与相互渗透 随着MapReduce 技术性能的提升、应用领域的扩展,关系数据管理技术和MapReduce 技术的争论一直持续着. * 第七十二页，共一百零二页。 MapReduce 并行编程模型 MapReduce 技术是非关系数据管理和分析技术的典型代表. 在Google 公司内部,通过大规模集群和MapReduce 软件,每天有超过20PB 的数据得到处理,每个月处理的数据量超过400PB * 第三十一页，共一百零二页。 MapReduce 并行编程模型 在数据分析的基础上,Google 提供了围绕互联网搜索的一系列服务(包括地图服务、定向广告服务等).如此大规模的数据管理和分析,是传统的关系数据管理技术所无法完成的 * 第三十二页，共一百零二页。 MapReduce 技术的发展 一经推出,立即遭到关系数据管理技术阵营(以著名的数据库技术专家Stonebraker 为代表)的猛烈抨击. Stonebraker 认为,MapReduce 技术是一个巨大的倒退,并指出了MapReduce 技术的众多缺点,包括 不支持Schema 没有存取优化 依靠蛮力(brute force)进行数据处理等 * 第三十三页，共一百零二页。 MapReduce 技术的发展 Stonebraker 等人在100 个节点的集群上对 Hadoop 技术(MapReduce 的开源实现) Vertica 数据库(一种基于列存储的关系数据库管理系统) DBMS-X 数据库(某厂商提供的商用数据库) 进行了数据装载和数据分析的性能比较, 发现 Map Reduce 的性能远远低于Ver