大数据技术导论.pptx

大数据技术导论读书笔记模板

01思维导图目录分析读书笔记内容摘要作者介绍精彩摘录目录0305020406

思维导图

导论技术技术特点大数据生命周期读者数据大数据习题分析第章可视化系统实验报告基础特征数据分析实验本书关键字分析思维导图

内容摘要

内容摘要本书以面向应用、面向实战为指导思想，紧扣企业技术人才培养的特点，在知识点讲解和实验中避免复杂的理论，使读者能快速上手体验、验证大数据处理的魅力，以激发读者的学习兴趣。本书覆盖了大数据生命周期中的主要技术要点，全书共8章，第1章介绍大数据的产生和特点及思维的变革，第2章了解大数据生态系统，第3～7章按照大数据的生命周期，分别讨论大数据采集与预处理、大数据管理、大数据分析、大数据可视化、大数据应用的基本原理和方法，第8章讨论大数据安全面临的挑战。本书可作为本科、高职院校大数据技术或数据科学课程的参考书或教材，也可供数据科学相关技术人员阅读。

目录分析

1.2Linux系统概述1.1揭秘大数据第1章概论

实验报告1Linux实验习题1第1章概论

1.1揭秘大数据1.1.1大数据产生历史必然1.1.2大数据概念和特征1.1.3大数据生命周期1.1.4大数据与物联网、云计算、人工智能1.1.5大数据时代的八个重大变革

1.2Linux系统概述1.2.1Linux版本1.2.2Linux系统目录结构1.2.3文本编辑器vi1.2.4文件权限解读1.2.5Linux系统常用命令

2.1认识Hadoop2.2HDFS2.3MapReduce*2.4Zookeeper第2章大数据生态系统

实验报告2Hadoop实验习题2第2章大数据生态系统

2.2HDFS2.2.1HDFS体系结构2.2.2HDFS存储原理2.2.3HDFS常用操作

2.3MapReduce2.3.1MapReduce逻辑结构2.3.2MapReduce操作案例

3.1数据3.2数据采集3.3数据清洗3.4网络爬虫第3章大数据采集与预处理

*实验报告3网络爬虫习题3第3章大数据采集与预处理

3.1数据3.1.1数据是什么3.1.2数据分类3.1.3度量和维度

3.2数据采集3.2.1数据采集分类3.2.2数据采集方法3.2.3数据采集工具

3.3数据清洗3.3.1数据清洗原理3.3.2缺失值和异常数据3.3.3数据清洗基本操作

3.4网络爬虫3.4.1爬虫简介*3.4.2论坛爬虫源代码分析

4.1NoSQL4.2HBase习题4实验报告4HBase实验第4章大数据管理

4.1NoSQL4.1.1NoSQL概述4.1.2键值数据库4.1.3图数据库4.1.4文档数据库4.1.5列式数据库4.1.6云数据库

4.2HBase4.2.1HBase模型4.2.2HBase与传统关系数据库的对比分析4.2.3HBase系统架构4.2.4HBase常用Shell命令

5.1大数据分析概述*5.2业务理解5.3数据认知5.4特征工程第5章大数据分析

5.5数据建模*5.6通用计算引擎Spark5.7大数据分析引擎Hive习题5实验报告5Hive实验12345第5章大数据分析

5.1大数据分析概述5.1.1数据分析原则5.1.2大数据分析特点5.1.3大数据分析流程5.1.4数据分析师基本技能和素质*5.1.5大数据分析难点

*5.2业务理解5.2.1什么是业务理解5.2.2如何理解业务5.2.3数据业务化

5.3数据认知5.3.1数据变换5.3.2概率分析*5.3.3对比分析*5.3.4细分分析*5.3.5交叉分析5.3.6相关分析

5.4特征工程5.4.1特征工程面临的挑战5.4.2特征选择5.4.3特征提取5.4.4指标设计

5.5数据建模5.5.1模型分类5.5.2决策树5.5.3关联分析5.5.4回归分析5.5.5聚类分析*5.5.6k-邻近分类算法KNN

*5.6通用计算引擎Spark5.6.1Spark简介5.6.2Spark与Hadoop差异5.6.3Spark适用场景5.6.4Spark运行模式5.6.5Spark常用术语5.6.6Spark编程实战——单词统计

5.7大数据分析引擎Hive5.7.1数据仓库概念5.7.2传统数据仓库的问题5.7.3Hive特征5.7.4Hive系统架构5.7.5Hive应用案例

6.1数据可视化基本概念6.2常用图形6.3数据可视化设计6.4数据可视化工具第6章大数据可视化

6.5基于R语言可视化基础*实验报告6可视化实验习题6第6章大数据可视化

6.1数据可视化基本概念6.1.1为什么要数据可视化6.1.2什么是数据可视化6.1.3数据可视化的作用6.1.4数据可视化术语6.1.5数据可视化三要素

6.2常