大数据概论及应用实践 课件 第三章数据采集与数据预处理.pptx

第三章数据采集与数据预处理大数据概论及应用实践IntroductiontoBigDataandApplicationPractice

第3章数据采集与数据预处理随着云计算、大数据、人工智能、物联网、5G移动通信等新一代信息技术的发展和应用，产生了海量的数据。这些数据增长速度迅速，来源广泛，类型多样，且有时效性，如通过网站、政务系统、办公系统、微博等应用系统收集的数据，抖音小视频、快手、视频号等收集的音频视频数据，监控摄像头，传感器等技术收集的图像，微信、Email、购物网站等收集的文本、日志相关的数据。对于这些来源广泛且类型多样的数据，数据缺失、数据重复、语义模糊等问题是不可避免的，通常是无法直接使用，实现数据的最大价值，这就必须要采取相应的措施解决这些问题，通过对数据做必要的清洗、集成、转换等被称之为“数据预处理”的过程，是对数据进行分析的第一步，也是为后续的数据挖掘和分析的奠定良好基础。

概述3.1数据采集3.2数据预处理3.3拓展实训3.4目录CONTENTS本章小结3.5习题3.6

数据采集（DataAcquisition，DAQ）也称为数据获取或数据收集，是指利用不同的设备和技术通过一系列的流程自动采集数据，并传到存储空间中进行分析、处理的过程。概述PART01

3.1概述在大数据时代，数据的价值在各个行业的