大数据平台技术方案.pdfVIP

大数据平台技术方案

目录

15

25

35

45

第1章需求概述5

1.1背景概述5

1.2建设目标5

1.3需求理解7

1.4面临挑战9

1.5设计原10

第2章总体技术方案13

2.1软件架构13

2.2总体技术架构设计14

2.3功能组件完整性介绍18

2.3.1、数据集成组件(DataHub)27

231.1、数据采集27

23.1.2、数据采集管理35

2.3.2、大数据计算存储平台(HadoopDistibutionJ38

2.3.2.1,海量数据集中存储39

2.322、高效数抗处理40

232.3、分布式应用协调45

2.324、计算资源分配控制45

232.5、存储资源分配控制46

23.2.6、平台高可用性47

2.3.3、算法与分析工具(AtificialIntelligence)52

2.33.1.数据挖掘工具54

2.332、R统计分析57

233.3、Python统计分析58

2.3.4、数据资产管理(DataGoveno)58

234.1、元数据管理60

23.4.2、数据标出与质量管理63

2.343、数据生命周期管理65

2.3.5、数据可视化(Vision)68

2.351、数据源68

2.352、智能报表69

2.353、仪表板71

2.354、自助分析73

235.5、多维分析75

23.5.6、OFFICE插件76

235.7、移动可视化76

236、系统运维监控(Manager)77

23.6.1.安装部署78

23.6.2,集群监控79

236.3、服务管理82

2.364、主机管理84

2.3.65、告警管理87

236.6、版本管理89

23.6.7,H志管理91

2.368、多租户管理91

2.3.7,架构优化设计95

237.1、统计分析和精确查询95

2.372、Spark计算引擎结合分布式内存计算提供交