EMC的大数据解决方案技术总结.pptVIP

大数据技术绝不仅仅是一款简单的数据分析软件，因为从大体量、多类别的数据中快速提取价值，几乎要重构整个数据库技术体系。简单一点讲，大数据技术其实是一系列技术的集合，大致可以分为负责数据存储与管理的下一代数据库技术（Greenplum数据库、NoSQL数据库），负责数据搜素、处理的下一代搜索引擎（hadoop），以及基于该搜索引擎的下一代数据分析产品（EMC的Greenplum HD DCA数据计算平台）。 什么是GREENPLUM？ 对于很多IT人来说GREENPLUM是个陌生的名字。简单的说它就是一个与ORACLE, DB2一样面向对象的关系型数据库。我们通过标准的SQL可以对GP中的数据进行访问存取。GREENPLUM与其它普通的关系型数据库的区别？本质上讲GREENPLUM是一个关系型数据库集群. 它实际上是由数个独立的数据库服务组合成的逻辑数据库。与RAC不同，这种数据库集群采取的是MPP架构。如下图所示 于2010被EMC公司收购，总部在马萨诸塞州霍普金顿市的 EMC 公司是全球信息基础架构技术与解决方案的领先开发商与提供商，是全球最大的企业存储设备和软件提供商 EMC作为传统存储硬件厂商的身份深入人心，但是随着大数据时代的来临，EMC看到了大数据处理带来的巨大局域，于2010年收购在大数据平台方面技术领先的Greenplum使其作为EMC大数据平台战略基数，收购的举动也被看作EMC完整大数据战略的重要里程碑。随着EMC与Greenplum的进一步融合，Greenplum在数据分析处理上的优势也会日益显现，软硬结合的大数据战略成功的帮助EMC完成由传统的硬件厂商向整体解决方案提供商的转型。 EMC作为传统存储硬件厂商的身份深入人心，但是随着大数据时代的来临，EMC看到了大数据处理带来的巨大局域，于2010年收购在大数据平台方面技术领先的Greenplum使其作为EMC大数据平台战略基数，收购的举动也被看作EMC完整大数据战略的重要里程碑。随着EMC与Greenplum的进一步融合，Greenplum在数据分析处理上的优势也会日益显现，软硬结合的大数据战略成功的帮助EMC完成由传统的硬件厂商向整体解决方案提供商的转型。 目前，EMC已经不再只是传统的硬件厂商，而是通过数据存储，帮助企业有效的管理内部的数据资产，创造更高的商业价值。EMC一直倡导 “数据改变商业模式”的理念，把存储的数据变成一种商业价值，这就是EMC的大数据战略。 第一阶段就是搭建云基础架构。在这个阶段，EMC提供给企业用户的产品有EMC Isilon和EMC Atmos。其中，EMC Isilon具有超强的横向扩展能力、可靠的安全保护和使用简易等特点，已经被苹果、华大基因、金山软件和浙江省图书馆等企业和单位所采用；EMC Atmos则具有海量、智能、灵活等特点。此外，EMC还提供了Greenplum Database和Greenplum HD Hadoop，为大数据平台提供大数据分析工具。Greenplum Database主要针对结构化数据，可以分析PB级数据，它具有每小时10TB数据的分析能力；Greenplum HD Hadoop是EMC的独门“武器”，它可以将非结构化数据转化成结构化数据，然后让Greenplum Database来高效地处理。 第二阶段进入数据科学协作和自助服务。这个阶段会出现社交化风潮，并催生出企业中“数据科学家”的角色，成为驱动大数据处理的新兴力量。EMC最新发布的Greenplum Chorus，就是一个社交化的数据处理平台，能满足这一阶段的要求，这个平台是由EMC中国卓越研发集团。EMC将大数据和云计算紧密结合起来，开始用云计算的手段来实现大数据的存储和分析等，这是目前其他厂商基本还没有做到的。 第三阶段就是实时决策，支持大数据的应用程序，实现数据货币化。EMC在今年3月收购了Pivotal Labs公司。PivotalLabs的加入，可以让数据集在Greenplum Chorus完善，让企业用户使用类似Ruby onRails（一个使用Ruby语言写的开源Web应用框架）的现代编程环境，快速构建大数据应用。 从上面简单的介绍我们就可以发现EMC公司在2003年收购VMware，又在2010年收购了Greenplum，最后在2012年收购了Pivotal Lab公司，不断的通过收购了整合自己的产品线和产业链，构建Greenplum Unified Analytics Platform统一分析平台来帮助企业实现数据驱动业务，为企业提供完整的大数据解决方案。[2] 高性能数据引擎也都是基于这两个方面的来最求高效：“大规模”需要的是数据吞吐能力，就是所谓的I/O；“数据处理”需要的是并行计算能力，即充分利用硬件资