-第3章-大数据的采集与预处理2024.pptxVIP

经济与管理学院数字商贸教研室《大数据应用基础》董欣格大数据应用基础》课程要求Ⅰ考核方式：考试课平时成绩（20%）期中成绩（20%）期末成绩（60%）Ⅱ教材：《大数据应用基础》作者：李小丽、杨晓东、董欣格等ISBN：9787564399696出版社：西南交通大学出版社注意事项：1、按时出勤，课前主动将手机放入手机袋2、无特殊情况，课中不得随便离开教室3、个人问题课前、课间自行解决4、按时完成课后布置的任务

、经济与管理学院数字商贸教研室《大数据应用基础》董欣格三章大数据的采集与预处理数据的种类非常多，存储和处理的难度大，其中数据源的选择和原始数据的采集方法是大数据采集的关键。对采集到的原始数据进行分析挖掘之前，需要先对其进行清洗、集成、变换和归约，以达到用控掘算法获取知识所要求的最低标准。学习目标：（1）熟悉大数据采集的基本概念、数据采集的来源、大数据采集的技术。（2）掌握大数据采集和预处理的方法和常用工具。（3）了解大数据采集与预处理对数据挖掘的重要意义。

经济与管理学院数字商贸教研室《大数据应用基础》董欣格三章大数据的采集与预处理

经济与管理学院数字商贸教研室《大数据应用基础》董欣格187925112563.1大数据的采集

经济与管理学院数字商贸教研室《大数据应用基础》董欣格187925112563.1大数据的采集变量是指取两个或者多个值的特征或者属性。根据数据（变量）所描述的事物的特征不同，可以将其分为定性数据和定量数据。定性数据是对事物进行定性描述或分类的数据，可以由非数字的文字组成。定性数据可以分为分类数据和顺序数据。分类数据：反应数据类别的数据，类与类之间平等，可以大小先后之分。顺序数据：是反应事物等级或次序的数据，还能反应事物间的先后顺序关系，可以进行排序。定量数据是对事物进行量化描述的数据，由测量的数值或者计数的数值组成。可以分为离散型数据和连续型数据。离散型数据：是指取值可以一一列举出来的数据。连续型数据：是指取值的情况下不能一一列举出来的。

经济与管理学院数字商贸教研室《大数据应用基础》董欣格187925112563.1大数据的采集此外，数据还可以按照是否按时间发展记录，分为截面数据、时间序列数据、平行数据等。截面数据：是反应若干个事物在同一时刻或同一时间段的特征的数据。比如，由100家上市公司（若干个事物）2012年（同一个时间点或时间段）的净利润所组成的利润。时间序列数据：是反应事物在若干个不同的时间点或时间段的特征的数据。比如，由中国是由从2001年到2012年，每一年度的净利润所组成的数据。平行数据：是截面数据和时间序列数据的结合。平行数据是反应若干不同事物在不同的时间点的特征的数据。比如，由5家不同的商场中每一家近10个月销售额所组成的数据。

经济与管理学院数字商贸教研室《大数据应用基础》董欣格187925112563.1大数据的采集ETL是企业数据应用过程中的一个数据流的控制技术，把原始的数据经过一定的处理，放入数据仓库里。可以想象一下一条大河的源头被污染，下游就无法作为饮用水源，也无法用于灌溉。如果想用于灌溉，就要将河上游工厂的污水进行处理之后再排入，如果想用于饮用，那就要用水淡化或者渗透过滤技术，对水质进行改造。同样，原始数据并不是完美的、洁净的，质量参差不齐的数据对于数据最终的使用会产生很大的影响。?Extract-Transform-Load

经济与管理学院数字商贸教研室《大数据应用基础》董欣格187925112563.1大数据的采集互联网行业技术快速发展的今天，数据采集广泛应用于互联网及分布式领域