2012年Hadoop渐成熟-12家厂商群雄逐鹿V1.1.docVIP

2012年Hadoop渐成熟 12家厂商群雄逐鹿 2012年05月04日 目录 1 2012年Hadoop渐成熟 12家厂商群雄逐鹿 3 1.1 亚马逊将MapReduce作为服务来交付 4 1.2 Cloudera力求Hadoop的企业安全性 5 1.3 Datameer将商业智能运用到大数据上 5 1.4 EMC提供单一的数据分析平台 6 1.5 Hadapt统一关系数据库环境和Hadoop环境 6 1.6 Hortonworks发扬了雅虎的Hadoop传统 7 1.7 IBM提供BigInsights、BigSheets和BigCloud 7 1.8 Informatica走得更深入一步 8 1.9 Karmasphere玩转Hadoop数据分析 8 1.10 MapR Technologies声称性能更好 9 1.11 微软进入这个市场 9 1.12 甲骨文走求大路线 10 2 Hadoop掀起大数据革命 10 2.1 Hadoop会在未来成为大数据的重大技术吗? 11 2.2 Hadoop已被广泛应用 11 2.3 三巨头大数据领域齐发力 12 2.4 Hadoop的未来 12 3 大数据下的数据分析-Hadoop架构解析 13 3.1 大数据分析的分类 13 3.2 数据分析的算法复杂度 15 3.3 面对大数据OLAP分析的一些问题 15 3.4 一种Hadoop多维分析平台的架构 17 3.5 结束语 20 2012年Hadoop渐成熟 12家厂商群雄逐鹿 Hadoop处于这个十年的大数据革命的暴风眼。这种基于Java的框架实际上由一套用于分布式处理海量数据的软件和子项目组成。核心方法是MapReduce，这项技术用来压缩和简化数十乃至数百TB字节的互联网点击流数据、日志文件数据、网络数据流或者是来自社交网络内容的大批文本。自从Hadoop在2008年作为Apache开源项目发布以来，它就一直让人备感兴奋，原因在于它结合了成本低、可扩展性佳以及无需构建预定义模式（predefined schema）就能灵活地处理任何数据等优点。许多人觉得，Hadoop有望带来全新一代的数据处理功能，就像结构化查询语言（SQL）30多年前在数据计算领域引发革命那样。但是Hadoop不太成熟，在某些方面与SQL相比完全很原始、很粗陋。一些开路先锋已经投入至少六年的时间来开发Hadoop，其中大多数人在雅虎等互联网巨头开始接触这种框架。Hadoop取得的成功同时也促使主流市场对其稳定性、成熟的管理等更高的需求，包括SQL环境具有的那些丰富功能等等。现在所有人寄希望于Hadoop厂商们开发出成熟可靠的工具、功能和技术创新。这个社区中有影响力的主要厂商包括Cloudera和亚马逊。Cloudera是开山鼻祖，现在也是Hadoop软件的最主要来源，它拥有CDH发行版和配套的管理软件。它还是为Hadoop提供企业支持和培训服务的最大供应商。亚马逊很早就进入了这个领域，其亚马逊弹性MapReduce服务在公共云中运行Hadoop。2011年，MapR和Hortonworks（后者从雅虎拆分出来）一下子备受瞩目，它们宣布了各自的Hadoop软件发行版，另外提供支持和培训服务；至于MapR，它还提供旨在提供高性能的专有版本。Hadoop要有所改进，竞争是一个方面，所以市面上出现更多版本以及新的支持和培训服务应该让每个人都受益。数据处理是一回事，但是大多数Hadoop用户最终希望实现的是分析数据。这时候，像Datameer、Hadapt和Karmasphere这些专门针对Hadoop的数据访问、商业智能和分析工具厂商就闪亮登场了。Hadoop迈向主流的标志是在2011年，它得到了五家主要的数据库和数据管理厂商的积极接受，EMC、IBM、Informatica、微软和甲骨文都纷纷进入Hadoop领域一较高下。IBM和EMC在去年发布了各自的发行版，后者还与MapR结为合作伙伴。微软和甲骨文则分别与Hortonworks和Cloudera合作。EMC和甲骨文都发布了专门定制的硬件设备，随时可以运行Hadoop。Informatica扩展了其数据集成平台以支持Hadoop，现在它还将其解析代码和数据转换代码直接融入到环境中。不妨深入了解这些有影响力的厂商们在Hadoop方面有怎样的作为。亚马逊将MapReduce作为服务来交付亚马逊早在2009年就推出了亚马逊弹性MapReduce（Amazon Elastic MapReduce），绝非很晚进入Hadoop领域。所以说，亚马逊对Hadoop的需求和应用可谓了若指掌，无论用户是运行试点项目的新手，还是内部部署的预置型系统遇到需求过载时，利用弹性MapReduce来获取额外容量的专业人士。弹性MapRe