基于Hadoop的大数据应用要点.ppt

HBASE——分布式数据存储 HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统； HBase位于结构化存储层，HDFS为HBase提供了高可靠性的底层存储支持,MapReduce为HBase提供了高性能的计算能力，Zookeeper为HBase提供了稳定服务和failover机制； Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的简单。 5.东软基于HADOOP的大数据应用建议 内容提要 1.大数据背景介绍 2. HADOOP体系架构 3. 基于HADOOP的大数据产品分析 4. 基于HADOOP的大数据行业应用分析 Hadoop主要开发厂商 　大型企业和机构在寻求解决棘手的大数据问题时，往往会使用开源软件基础架构Hadoop的服务。由于Hadoop深受欢迎，许多公司都推出了各自版本的Hadoop，也有一些公司则围绕Hadoop提供解决方案。 Hadoop的发行版除了社区的Apache hadoop外，cloudera，IBM，ORACLE等都提供了自己的商业版本。商业版主要是提供Hadoop专业的技术支持，这对一些大型企业尤其重要。 Cloudera EMC 。。。 IBM Oracle Hadoop主要开发厂商—— CLOUDERA 在Hadoop生态系统中，规模最大、知名度最高的公司则是Cloudera。2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司，为合作伙伴提供 Hadoop 的商用解决方案，主要是包括支持，咨询服务和培训。Cloudera的客户中倒是有很多知名公司，如AOL、哥伦比亚广播公司、eBay、Expedia、摩根大通、Monsanto、诺基亚、RIM和迪士尼等。Cloudera 企业解决方案包括Hadoop软件发行版、Cloudera管理器。 Hadoop主要开发厂商—— Hortonworks 　2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建的公司。公司成立之初吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年开始协助雅虎开发Hadoop，这些工程师贡献了hadoop 80%的代码。 Hortonworks 的主打产品是Hortonworks Data Platform (HDP)，包括稳定版本的Apache Hadoop的所有关键组件。 InfoSphere BigInsights 是一个软件平台，旨在帮助企业从大量不同范围的数据中挖掘商机并进行分析，如日志记录、点击流、社会媒体数据、新闻摘要、电子传感器输出，甚至是一些事务数据等。BigInsights 包括Apache Hadoop发行版、面向MapReduce编程的Pig编程语言、针对IBM的DB2数据库的连接件以及IBM BigSheets。 IBM通过其智慧云企业（SmartCloud Enterprise）基础架构，将BigInsights和BigSheets作为一项服务来提供。客户不必购买支持性硬件，也不需要IT专门知识，就可以学习和试用大数据处理和分析功能。据IBM称，客户用30分钟就能搭建起Hadoop集群，并能将现有数据转移到集群里面。 Hadoop主要开发厂商——IBM Hadoop主要开发厂商—— ORACLE Oracle Big Data机与Oracle Exadata数据库云服务器以及新推出的Oracle Exalytics商务智能云服务器，为客户提供了一个端到端的大数据解决方案，从而为客户在企业内获取、组织、分析大数据以及最大限度地挖掘大数据的价 值提供了所需要的一切条件。 Oracle Big Data机是一款集成设计的系统，并且针对获取、组织以及将非结构化数据加载到Oracle数据库11g之 中的整个流程进行优化。Oracle Big Data机包括开源Apache Hadoop、Oracle NoSQL数据库、Oracle数据集成Hadoop应用适配器、Oracle Hadoop装载器。 EMC公司于2013年发布了自身的Apache Hadoop发行版——Pivotal HD，同时发布的还有一个名为HAWQ的技术，通过HAWQ能够将Greenplum分析型数据库与Hadoop分布式架构进行紧密地融合。Pivotal HD对Apache Hadoop进行了全面的改造，同其他一些Hadoop发行版相比，其最大的优势就是能够与Greenplum数据库进行整合，Pivotal HD和HAWQ让EMC在Hadoop领域更进一步，同时将成为EMC