Hadoop发行版介绍.pptVIP

Hadoop发行版介绍 有哪几类Hadoop发行版 社区的Apache Hadoop版本 基于开源的Apache Hadoop进行改造的商业解决方案，其中包括一系列定制的管理工具和软件。 在API级别，和社区Hadoop 发行版保持兼容的闭源软件。 Hadoop发行版本 Hadoop版本衍化 区分Apache Hadoop版本的特性 Append 支持文件追加功能。 RAID 在保证数据可靠的前提下，通过引入校验码减少数据块数目。 Symlink 支持HDFS文件链接 Security Hadoop安全 NameNode HA HDFS Federation和YARN Apache Hadoop 以Apache 2.0许可协议发布 开源 包括 Hadoop Common MapReduce Hadoop分布式文件系统（HDFS） 相关项目 Apache Hive Apache HBase Zookeeper等 Apache Hadoop版本变迁 Apache Hadoop发行版优缺点 优点 完全开源免费 缺点 复杂的集群设置 复杂的版本与生态系统 商业支持 CDH CDH版本 在CDH4之前，CDH按照CDHxUy来命名，譬如CDH3u0, CDH3u1等等。 从CDH4开始，版本号命名格式为CDH　X.Y.Z。 其中X是主版本号，意味着重大变更； Y是次版本号，类似于之前的“update”版本号； Z是点版本号，对应于一些critical fixes。 CDH特点 完全开源 基于稳定版Apache Hadoop，并应用了最新Bug修复或者Feature的Patch 比Apache hadoop在兼容性，安全性，稳定性上有增强 版本更新速度比Apache官方快 安装、升级文档详细 CDH支持Yum/Apt包，Tar包，RPM包 提供Cloudera Manager，可以在几个小时内部署好一个hadoop集群，并对集群的节点及服务进行实时监控。 Hortonworks Data Platform(HDP) HDP特点 100%开源 集成和测试封装 HDP包括稳定版本的Apache Hadoop的所有关键组件，集成和测试封装。 安装方便 HDP包括一个现代化的，直观的用户界面的安装和配置工具。 管理和监控服务 HDP包括直观的仪表板，为监测集群和建立警示。 数据集成服务 HDP包括开源数据整合工具Talend。 元数据服务 HDP包括的Apache HCatalog，从而简化了Hadoop的应用程序之间和Hadoop和其他数据系统之间的数据共享。 MapR MapR的分布式NameNode IBM InfoSphere Apache Hadoop Intel 分发版 Pivotal HD Pivotal HD Pivotal的主要组件是HAWQ，这是一个关系数据库，直接运行于Hadoop中的HDFS之上，其特性包括： 兼容SQL——支持各个版本的SQL，包括SQL92、SQL99和SQL 2003 OLAP等。百分之百兼容PostgreSQL 8.2。 面向行或面向列的数据存储。 查询优化器——查询可以运行于成千上万个节点上。 完全兼容ODBC/JDBC。 交互式查询——大数据集上的复杂查询可以以秒级或次秒级的速度解决。 数据管理——提供了表统计和表安全等功能。 支持存储在HDFS、Hive、HBase、Avro、ProtoBuf、分隔的文本和序列化文件中的数据。 深度分析——包含了数据挖掘和机器学习算法。 谢谢 aa NameNode HA实现namenode的高可用 HDFS Federation是Hadoop最新发布版本Hadoop-0.23.0中为解决HDFS单点故障而提出的namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。 2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司，为合作伙伴提供 Hadoop 的商用解决方案，主要是包括支持，咨询服务，培训。2009年hadoop的创始人 Doug Cutting也任职于 Cloudera 公司。Cloudera产品主要为CDH，Cloudera Manager，Cloudera Support。 2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建的公司。公司成立之初吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年开始协助雅虎开发 Hadoop，这些工程师贡献了hadoop 80%的代码。。雅虎工程副总裁、雅虎Hadoop开发团队负责人Eric Baldeschwieler出任Hortonworks的首席执行官。Hort