《大数据技术及应用》课件 第3章大数据采集与预处理.docxVIP

第3章大数据采集与预处理 目录 Contents 3.1 3 .2 3.3 3.4 数 据采集概述 常用的大数据采集工具简介 数据属性的类型 数据预处理 3.1 数据采集概述 大数据的来源 数据容量的单位 大数据采集的基本方法 3. 3.1 .1大数据的来源 大数据的来源的非常广泛，如互联网、信息管理系统、物联网、科学实验 和计算机系统的日志等等。按照产生数据的主体来划分，大数据主要有三个来 源，它们分别是： 1.对现实世界的测量 通过感知设备获得的数据，这类数据包括传感器采集的数据(如环境监测、 工业物联网和智能交通的传感数据),科学仪器产生的数据、摄像头的监控影 像等等。 2.人类的记录 由人类录入计算机形成的数据，如信息管理系统、社交软件、电子商务系统 企业财务系统等产生的数据。 3.计算机产生的数据 由计算机程序生成的数据，如服务器的日志、计算机运算结果、软件生成的 图像和视频等等。 3 3.1 .2数据容量的单应 数据容量的基本单位是bit, 按容量单位从小到大的顺序是： bit (位)、 Byte (字节)、 KB (千字节)、 MB ( 兆 ) 、GB (吉)、 TB ( 太 ) 、PB、EB、 ZB、YB、BB、NB、DB, 它们是按照进率1024(2的十次方)来计算： 1Byte =8 bit 1KB =1,024 Bytes =8192 bit 1MB