大数据采集与预处理 期末考试速记列表（函授完整版）.docxVIP

大数据采集与预处理期末考试速记列表（函授完整版）

一、基础核心概念（名词解释高频）

1.大数据：无法在一定时间内用常规软件工具进行捕捉、存储、管理和处理的海量数据集合，具备4V特征（必考）：数据量大、类型多、速度快、价值密度低。

2.大数据采集：通过技术手段从互联网、数据库、日志、传感器、平台接口等各类数据源，自动、批量、实时获取原始数据的全过程，是大数据处理的第一步。

3.大数据预处理：对采集到的原始杂乱数据进行清洗、去重、纠错、转换、规约、集成，将脏数据变为干净、规范、可用数据的过程，是大数据分析的核心前置工作。

4.脏数据：指缺失、重复、错误、异常、不一致、无效、乱码的原始数