大数据导论课件 第6章-数据采集与预处理.pptxVIP

第6章数据采集与预处理

目录CONCENTS数据采集数据清洗数据集成和数据转换数据归约数据脱敏6.46.5

6.1数据采集

6.1.1数据采集概念6.1.3数据采集的数据源提纲6.1.2数据采集的三大要点6.1.4数据采集方法6.1.5网络爬虫

数据采集，又称“数据获取”，是数据分析的入口，也是数据分析过程中相当重要的一个环节，它通过各种技术手段把外部各种数据源产生的数据实时或非实时地采集并加以利用6.1数据采集

传统的数据采集大数据采集数据源来源单一，数据量相对较少来源广泛，数据量巨大数据类型结构单一数据类型丰富，包括结构化、半结构化和非结构化数据存储关系数据库和并行数据仓库分布式数据库，分布式文件系统表传统的数据采集与大数据采集区别6.1数据采集

0203多维性全面性高效性01数据采集的三大要点6.1数据采集

1324传感器企业业务系统数据互联网数据日志文件数据采集的数据源6.1数据采集

传感器是一种检测装置，能感受到被测量的信息，并能将感受到的信息，按一定规律变换为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求传感器数据6.1数据采集

压力传感器温度传感器流量传感器声音传感器电参数传感器传感器数据6.1数据采集

传感器数据传感器对环境适应能力很强，可以应对各种恶劣的工作环境。如温度计、麦克风、DV录像