《数据采集与处理：基于python》 课件 付东普 第10、11章 大数据存储与访问技术、 数据集成与ETL技术.pptx

第十章

大数据存储与访问技术;;;大数据技术;1.1大数据概述

;大数据发展历史;大数据的影响;大数据的特征;1).数据量大Volume

大数据中的数据量大，就是指的海量数据。

大数据之“大”还表现在其采集范围和内容的丰富多变，能存入数据库的不仅包含各种具有规律性的数据符号，还囊括了各种如图片、视频、声音等非规则的数据。

;2).数据类型繁多Variety

大数据包括结构化数据、半结构化数据和非结构化数据。

;;大数据应用

;1.2大数据关键技术

1）大数据采集

;;;4）大数据分析挖掘

;大数据计算模式;谷歌大数据计算模式;;;;大数据的意义

;大数据的企业意义;我国大数据市场的预测;大数据的产业链分析

;运营分析

;非关系型数据库简介;NoSQL数据库简介

;CAP定理

;CAP定理

;NoSQL数据库分类

;MongoDB数据库连接与访问;3.1MongoDB数据库简介

;3.1MongoDB数据库简介

;3.2.Python访问MongoDB操作

;3.2.Python访问MongoDB操作

;复习与思考;本章小结

;第十一章

数据集成与ETL技术;;数据集成;数据集成概述;数据集成概述;数据集成分类;数据集成分类;数据集成分类;数据集成分类;常见数据集成方法;常见数据集成方法;常见数据集成方法;常见数据集成方法;常见数据集成方法;常见数据集成方法;ETL相关技术与工具;ETL相关技术;ETL相关技术;常用ETL工具;常用ETL工具;常用ETL工具;ETL应用示例;ETL应用示例;ETL应用示例;ETL应用示例;ETL应用示例;ETL应用示例;ETL应用示例;ETL应用示例;ETL应用示例;思考与练习;71