大数据技术与应用实践手册.pdfVIP

大数据技术与应用实践手册

第一章大数据技术基础3

1.1大数据概述3

1.2大数据技术架构3

1.3大数据存储技术4

1.4大数据处理技术4

第二章数据采集与预处理4

2.1数据源析4

2.2数据采集技术5

2.3数据清洗与转换6

2.4数据预处理流程6

第三章布式计算框架6

3.1Hadoop生态系统6

3.1.1Hadoop布式文件系统(HDFS)6

3.1.2HadoopMapReduce7

3.1.3YARN7

3.2Spark计算框架7

3.2.1SparkCore7

3.2.2SparkSQI7

3.2.3SparkSreaming7

3.3布式存储系统7

3.3.1布式文件系统7

3.3.2布式数据库7

3.3.3布式缓存8

3.4布式计算优化策略8

3.4.1数据本地化8

3.4.2任务调度优化8