CDH-HDP-MAPR-DKH-星环组件比较.docxVIP

组件比较：序号组件名称CDH（美国Cloudera）HDP（美国Hortonworks）MAPR（美国MapR）DKH（中国大快）Transwarp（中国星环）1Hadoop√√√√√2HBase√√√√3Zookeeper√√√√√4Spark√√√√5Hive√√√√6Hue√√√7Impala√√8Sqoop√√√√√9Flume√√√√√10Oozie√√√√√11Solr√√√12Isilon√13KV indexer√14Cloudera Manager√15kafka√√16Storm√√√17Elasticsearch√√18DK-ESSQL√19DK-NLP√20DK-SPIDER√21DKM√22DK-DMYSQL√23Falcon√24Knox√25Phoenix√26Pig√√27Ranger√28Slider√29Tez√30Drill√31MapR-DB√32MapR Streams√33Mahout√√34HttpFS√35Sentry√36Sahara√37Myriad√38Transwarp Inceptor√39TranswarpHyperbase√40Transwarp Stream√41Ambari√组件简介：1、Hadoop简介：集群基础组件，分为存储（HDFS）和计算（Mapreduce）两大部分。apache社区开源。技术来源于Google的GFS和Mapreduce。2、Hbase简介：键-值非关系型数据库，apache社区开源。是Google的Bigtable一个开源的实现。3、Zookeeper简介：集群协调组件，已开源。是Google的Chubby一个开源的实现。4、Spark简介：内存计算框架，伯克利首先提出，现已开源。5、Hive简介：基于HDFS的SQL工具，facebook开发，后开源。6、Hue简介：图形化集群工具，cloudera开发，后开源。7、Impala简介：基于HDFS的SQL工具，cloudera开发，后开源。8、Sqoop简介：用于关系型数据库与NOSQL数据库之间的数据导入导出。Cloudera开发，已开源。9、Flume简介：用于数据流的导入， Cloudera开发，已开源。10、Oozie简介：工作流系统，用于提交、监控集群作业。Cloudera开发，已开源。11、Solr简介：基于Lucene的全文搜索服务器。已开源。12、Isilon简介：基于OneFs操作系统的存储产品，美国赛龙公司开发，后属于EMC，一种集群存储方案。13、K-V store indexer简介：为HBase到solr的索引中间件，为NGDATA公司开发，已开源。14、Cloudera Manager简介：CDH集群安装管理工具。Cloudera开发。15、kafka简介：消息队列组件。已经开源。16、Storm简介：流数据处理组件。17、Elasticsearch简介：基于Lucene的全文搜索服务器。已开源。18、ESSQL简介：基于Elasticsearch的SQL工具，大快开发。19、DK-NLP简介：自然语言处理组件。大快开发，已开源。20、DK-SPIDER简介：分布式爬虫组件。大快开发。21、DKM简介：集群安装管理工具。大快开发。22、DK-DMYSQL简介：分布式MYSQL组件，大快改写。23、Apache Falcon简介：Falcon 是一个面向Hadoop的、新的数据处理和管理平台,设计用于数据移动、数据管道协调、生命周期管理和数据发现。24、Apache Knox简介：Apache knox是一个访问hadoop集群的restapi网关，它为所有rest访问提供了一个简单的访问接口点。25、Apache Phoenix简介：Phoenix 是HBase的SQL驱动。26、Apache Pig简介：Pig定义了数据流语言Pig Latin，它是MapReduce编程抽象。27、Apache Ranger简介：ranger是一个hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的hadoop生态圈的所有数据权限。28、Apache Slider简介：Slider 是一个 YARN 应用，用于发布已有的分布式应用到 YARN 上，并对这些应用进行监控以及根据需要调整规模。29、Tez简介：Tez支持DAG作业的计算框架，它直接源于MapReduce框架，核心思想是将Map和Reduce两个操作进一步拆分形成一个大的DAG作业。30、Apache Drill简介：Apache Drill是一个低延迟的分布式海量数据（涵盖结构化、半结构化以及嵌套数据）交互式查询引擎，使用ANSI SQL兼容语法。31