《大数据导论》PPT课件.pptx

第1章 大数据概述;1.1 数据;1.2 大数据技术背景;1.3 大数据的主要来源;1.4 大数据的主要特征;1.5 大数据的应用;1.6 大数据的产业链;1.7 大数据的发展展望;1.8 大数据与数字经济;第2章 大数据思维;2.1 大数据的思维特点;2.1.1大数据的总体思维;2.1.2 大数据非精确思维;2.1.3 大数据的非因果性思维;2.1.4 以数据为中心;2.1.5 大数据的运营思维;2.1.6大数据的收集;2.1.7 数据的分类;2.2大数据的应用思维;2.2.1大数据应用示例： 用户个性化标签;2.3大数据的价值思维;2.3.1 识别与串联价值;2.3.2 描述价值;2.3.3 时间价值;2.3.4 组合价值;2.3.5 预测价值;2.4 大数据的分析思维;2.4.1大数据的分析思维示例;2.5大数据分析的特点;第3章 大数据采集与获取技术;3.1 数据源分析;3.2 内部数据;3.2.1 政府内部数据;3.2.2 各利益主体自营数据;3.2.3 物联网数据;3.2.4 互联网数据;3.3 内部数据获取方法;3.3.1 内部数据的ETL技术;3.3.1 内部数据的ETL技术;3.3.2 常用ETL工具说明;3.3.2 常用ETL工具说明;3.3.2 常用ETL工具说明;3.4 外部数据及获取方法;3.4.1网络数据源的特性与价值;3.4.2网络爬虫;3.4.3 网络爬虫应用注意;3.5.1 深网数据;3.5.2深网数据的获取方法;第4章 大数据存储与管理技术;4.1 数据存储概念;4.1.1 存储容量;4.1.2 存储性能;4.1.3存储可靠性和可用性;4.1.4 存储成本;4.2 常用的数据存储介质;4.2.1 机械硬盘;4.2.2 固态硬盘;4.2.3 可记录光盘;4.2.4 U盘;4.2.5 闪存卡;4.2.6 数据存储介质的选择原则;4.3 数据存储模式;4.3.1 附加直接模式 DAS;4.3.1 附加直接模式 DAS 连接示意图;4.3.2 附加网络模式 NAS;4.3.2 附加网络模式 NAS 连接示意图;4.3.3 存储区域网络模式 SAN;4.3.3存储区域网络模式 SAN 连接示意图;4.3.4 存储模型选择;4.4大数据管理技术;4.4 大数据管理技术;4.4 大数据管理技术;4.4 大数据管理技术;4.4.3 数据库;4.4.4 键-值 数据库;4.4.5 分布式数据库;4.4.5 分布式数据库;4.4.6 关系型数据库;4.4.6 关系型数据库;4.4.6 关系型数据库;4.4.6 关系型数据库;4.4.7 数据仓库;4.4.7 数据仓库;4.4.8 文档数据库;4.4.8 文档数据库;4.4.8 文档数据库;4.4.8 文档数据库;4.4.9 图形数据库;4.4.9 图形数据库;4.4.9 图形数据库;4.4.10 云存储;4.4.10 云存储;4.4.10 云存储;第5章 大数据处理技术;5.1 大数据处理框架分类;5.1.1 批处理框架;5.1.2 流式处理框架;5.1.3 交互式处理框架;5.2 Hadoop;5.2.1 Hadoop项目结构及技术分布;5.2.2 MapReduce模型;5.3 Spark;5.3.1 技术架构;5.3.2 基本流程;5.3.3 Spark 程序运行流程;第6章 大数据分析技术;6.1 大数据分析的概念;6.2 大数据处理流程;6.3 大数据分析的方法;6.4 大数据特征工程;6.4.1 特征构建;6.4.1.1 单列变量;6.4.1.1 单列变量;6.4.1.2 多列变量;6.4.1.3 多行变量;6.4.2 特征选择;6.4.3 特征提取;6.5 大数据分析的主要技术;6.5.1 深度学习的概念;6.5.1 深度学习模型;6.5.1 深度学习模型特点;6.5.2 深度学习的基本概念及应用;6.5.2 深度学习的基本概念及应用;6.5.2 知识计算;6.5.2 基础数据分析方法;6.5.2 回归分析;6.5.2 线性回归;6.5.2 逻辑回归;6.5.2 决策树;6.5.2 随机森林;6.5.2 贝叶斯网络;6.5.2 支持向量机;6.6 数据可视化;6.6.1 数据可视化分析方法;6.6.2 可视化分析的常用工具;6.6.3 数据可视化的应用举例;第7章 大数据安全;7.1 大数据安全概述;7.1.1 大数据安全的意义;7.1.2 大数据安全面临的问题;7.2 大数据隐私保护;7.2.1 数据保护与保密;7.2.2 国内隐私相关政策法规;7.2.2 国内隐私相关政策法规;7.3 典型案例;第8章 大数据与云计算、物联网、人工智能;8.1.1 云计算的