大规模数据处理技术在互联网业务中的应用.docVIP

大规模数据处理技术在互联网业务中的应用

TOC\o1-2\h\u5714第1章大规模数据处理技术概述 3

39601.1大规模数据的概念与特征 3

265531.1.1大规模数据的概念 3

175461.1.2大规模数据的特征 3

110851.2大规模数据处理技术的发展历程 4

137081.2.1传统数据处理技术 4

308871.2.2大规模数据处理技术 4

290591.3大规模数据处理技术的应用领域 4

187761.3.1搜索引擎 4

81461.3.2互联网广告 4

212231.3.3社交网络 4

258031.3.4金融风控 4

4201.3.5人工智能 5

306541.3.6物联网 5

8942第2章分布式存储系统 5

242142.1分布式存储系统原理 5

7442.1.1概述 5

90252.1.2数据分布策略 5

83772.1.3数据冗余与容错 5

147102.1.4节点间通信与协同 5

301422.2常见分布式存储系统介绍 6

162832.2.1HDFS 6

285052.2.2Cassandra 6

235042.2.3Redis 6

307932.2.4Ceph 6

159852.3分布式存储系统的优化策略 6

55502.3.1数据局部性优化 6

239492.3.2数据负载均衡 6

320282.3.3网络通信优化 6

228152.3.4容错与恢复机制 6

29811第3章分布式计算框架 7

138413.1分布式计算框架原理 7

44393.1.1定义及背景 7

200473.1.2基本原理 7

239303.2常见分布式计算框架介绍 7

16493.2.1MapReduce 7

199873.2.2Spark 7

76273.2.3Flink 7

123453.2.4Tez 8

214723.3分布式计算框架的功能优化 8

309773.3.1资源调度优化 8

139673.3.2数据通信优化 8

80703.3.3容错处理优化 8

180273.3.4计算任务调度优化 8

6221第四章数据清洗与预处理 8

192354.1数据清洗的基本方法 8

11834.2数据预处理的流程 9

163594.3数据预处理在互联网业务中的应用 9

32201第五章数据挖掘与机器学习 10

164235.1数据挖掘基本算法 10

254535.1.1简介 10

243595.1.2分类算法 10

33995.1.3聚类算法 10

269275.1.4关联规则挖掘 10

10345.2机器学习在互联网业务中的应用 10

172665.2.1简介 10

169665.2.2广告投放 10

20025.2.3搜索排序 10

177925.2.4内容推荐 10

92675.3深度学习技术在互联网业务中的应用 11

145465.3.1简介 11

166385.3.2图像识别 11

35405.3.3语音识别 11

43395.3.4自然语言处理 11

15781第6章大规模数据可视化 11

318866.1数据可视化的基本方法 11

315556.1.1概述 11

280376.1.2图表法的具体应用 12

106426.2可视化工具与平台 12

253756.2.1可视化工具 12

150516.2.2可视化平台 12

323846.3大规模数据可视化的应用案例 12

31086.3.1互联网业务数据可视化 13

281916.3.2金融行业数据可视化 13

102216.3.3城市管理数据可视化 13

6643第7章数据安全与隐私保护 13

270107.1数据安全的基本概念 13

159107.2数据隐私保护的策略与方法 14

65787.3数据安全与隐私保护在互联网业务中的应用 14

20563第8章大规模数据运维与管理 14

39898.1数据运维的基本任务 14

111468.2数据中心的管理与维护 15

2368.3大规模数据