大数据应用与技术实施标准手册.docVIP

大数据应用与技术实施标准手册

TOC\o1-2\h\u23782第1章大数据基础概念 4

92901.1数据与大数据 4

309141.2大数据的关键技术 4

182751.3大数据应用领域 4

21395第2章大数据架构设计 5

292392.1大数据系统架构 5

26572.1.1数据源层 5

277962.1.2数据采集与传输层 5

289522.1.3数据存储层 5

83582.1.4数据处理与分析层 6

244152.1.5数据展现与决策支持层 6

278962.2数据存储与处理技术 6

43662.2.1分布式存储技术 6

326632.2.2分布式计算技术 6

80102.2.3数据清洗与预处理技术 6

192542.3数据整合与交换 6

326622.3.1数据整合技术 6

282872.3.2数据交换技术 7

82792.3.3数据治理技术 7

26368第3章数据采集与预处理 7

139893.1数据源识别与接入 7

297693.1.1数据源识别 7

121163.1.2数据接入 7

300113.2数据采集技术 7

14393.2.1数据采集概述 7

62993.2.2常见数据采集技术 8

50863.3数据清洗与预处理 8

172483.3.1数据清洗 8

223123.3.2数据转换 8

251783.3.3数据归一化 8

9428第4章数据存储与管理 8

189784.1关系型数据库 8

23594.1.1概述 8

80484.1.2技术选型与实施 9

2684.2非关系型数据库 9

213294.2.1概述 9

29234.2.2技术选型与实施 9

229894.3分布式文件存储系统 9

164524.3.1概述 9

140784.3.2技术选型与实施 9

14243第5章数据分析与挖掘 10

75955.1数据挖掘基础 10

123795.1.1数据挖掘概述 10

296645.1.2数据挖掘流程 10

63455.1.3数据挖掘任务 10

299755.2数据分析方法 10

293775.2.1描述性分析 10

99745.2.2摸索性分析 10

51025.2.3验证性分析 10

155335.2.4预测性分析 10

36285.3挖掘算法与应用 10

98385.3.1分类算法 10

101405.3.2回归算法 11

137315.3.3聚类算法 11

185725.3.4关联规则挖掘算法 11

173505.3.5时序模式挖掘算法 11

136715.3.6深度学习算法 11

309855.3.7应用案例 11

23874第6章大数据计算框架 11

310256.1MapReduce 11

25026.1.1概述 11

123666.1.2基本原理 11

254846.1.3优点与不足 12

15966.2Spark 12

56656.2.1概述 12

140876.2.2基本原理 12

310446.2.3优点与不足 12

163056.3Flink 12

43956.3.1概述 12

25406.3.2基本原理 12

14836.3.3优点与不足 12

58196.3.4应用场景 12

29042第7章大数据查询与分析工具 12

100197.1SQLonHadoop技术 13

105607.1.1概述 13

69887.1.2技术原理 13

302617.1.3常用工具及框架 13

173467.1.4应用案例 13

112537.2NoSQL数据库查询 13

321887.2.1NoSQL数据库概述 13

129177.2.2常用NoSQL数据库 13

313757.2.3查询语言与接口 13

5477.2.4应用案例 13

214277.3大数据可视化分析 13

200467.3.1可视化分析概述 14

225387.3.2可视化技术原理 14

143007.3.3常用可视化工具 1