大数据平台建设技术解决方案.pdf

大数据平台技术方案

目录

1.5

2.5

3.5

4.5

第1章需求概述5

1.1背景概述5

1.2建设目标5

1.3需求理解7

1.4面临挑战9

1.5设计原则10

第2章总体技术方案12

2.1软件架构12

2.2总体技术架构设计13

2.3功能组件完整性介绍17

2.3.1、数据集成组件（DataHub）26

、数据采集26

、数据采集管理34

2.3.2、大数据计算存储平台（HadoopDistribution）37

、海量数据集中存储38

、高效数据处理39

、分布式应用协调44

、计算资源分配控制44

、存储资源分配控制45

、平台高可用性46

2.3.3、算法与分析工具(ArtificialIntelligence)51

、数据挖掘工具53

、R统计分析56

、Python统计分析57

2.3.4、数据资产管理(DataGovernor)57

、元数据管理59

、数据标准与质量管理62

、数据生命周期管理64

2.3.5、数据可视化（Vision）67

、数据源67

、智能报表68

、仪表板70

、自助分析72

、多维分析74

、OFFICE插件75

、移动可视化75

2.3.6、系统运维监控（Manager）76

、安装部署77

、集群监控78

、服务管理81

、主机管理83

、告警管理86

、版本管理88

、日志管理90

、多租户管理90

2.3.7、架构优化设计94

、统计分析和精确查询94

、Spark计算引擎结合分布式内存计算提供交互式统计分析能力94

、多种索引支持与智能索引95

、高并发、低延迟性能优化96

、计算资源有效管控96

、API设计和开发工具支持97

、接口开放性97

、第三方工具生态圈整合99