原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
华为 FusionInsight HD
技术白皮书
目 录
1 简介1
1.1 FusionInsight 概述1
1.2 FusionInsight HD 组件介绍2
2 重点组件介绍4
2.1 集群管理Manager 4
2.2 分布式文件系统HDFS 6
2.3 统一资源管理和调度框架YARN 7
2.3.1 Yarn 7
2.3.2 Superior Scheduler7
2.4 分布式批处理引擎MapReduce 12
2.5 分布式数据库HBase 13
2.6 数据仓库组件Hive13
2.7 分布式内存计算引擎Spark 14
2.7.1 Spark 14
2.7.2 CarbonData15
2.8 交互式SQL 引擎Elk 16
2.9 全文检索组件Solr19
2.10 全文检索组件Elasticsearch 21
2.11 批量数据集成Loader 22
2.12 实时数据采集Flume 25
2.13 流式事件处理（Storm）26
2.13.1 Storm26
2.13.2 StreamCQL27
2.14 流处理引擎Flink 28
2.15 分布式高速缓存Redis 30
2.16 分布式消息队列Kafka 30
2.17 作业编排与调度Oozie 31
2.18 数据继承入口Hue33
2.19 多租户34
2.20 安全增强36
2.21 可靠性增强37
2.22 滚动重启、滚动升级与滚动补丁39
1 简介
1.1 FusionInsight 概述
FusionInsight 是华为企业级大数据存储、查询、分析的统一平台，能够帮助企业快速构
建海量数据信息处理系统，通过对巨量信息数据实时与非实时的分析挖掘，发现全新
价值点和企业商机。
FusionInsight 解决方案由产品：FusionInsight HD 、FusionInsight LibrA、FusionInsight
Athena 和操作运维系统FusionInsight Manager ，数据使能服务：数据集成开发工具、实
时决策平台，及私有云服务：HDS 大数据服务、ADS 数据库服务、RDS 数据库服务构
成。
FusionInsight HD ：企业级的大数据处理环境，是一个分布式数据处理系统，对外
提供大容量的数据存储、分析查询和实时流式数据处理分析能力。
FusionInsight LibrA：企业级的大规模并行处理关系型数据库。采用MPP
（Massive Parallel Processing ）架构，支持行存储和列存储，提供PB
（Petabyte ，2 的50 次方字节）级别数据量的处理能力。
FusionInsight Athena ：企业级大数据人工智能处理系统，提供大容量的图像与视频
分析能力。
FusionInsight Manager ：企业级大数据的操作运维系统，提供高可靠、安全、容
错、易用的集群管理能力，支持大规模集群的安装部署、监控、告警、用户管
理、权限管理、审计、服务管理、健康检查、问题定位、升级和补丁等功能。
1.2 FusionInsight HD 组件介绍
FusionInsight 系统的整体逻辑架构图如下所示：
FusionInsight HD 需要对开源组件进行封装和增强，对外提供稳定的
文档评论（0）