函授课程大数据采集与预处理核心内容精简版.docxVIP

函授课程大数据采集与预处理核心内容精简版.docx

函授课程大数据采集与预处理核心内容精简版

本精简版贴合函授学习特点，摒弃复杂技术原理与冗余表述，重点涵盖大数据采集与预处理的核心概念、流程、方法及实操要点，适配自主学习、快速记忆，贴合函授考点与实践应用需求。

一、核心基础（必记考点）

1.核心定义：大数据采集是指通过各类技术手段，从不同数据源获取海量、多类型数据的过程；大数据预处理是对采集到的原始数据进行清洗、转换、集成、归约，去除冗余、修正错误，使其符合后续分析与建模要求的核心步骤（两者是大数据分析的前提，必记）。

2.核心意义：采集的完整性、准确性决定数据价值；预处理可提升数据质量，避免“垃圾数据”导致分析结果失真，是大数据应用的关键环节。

3.核心特点：数据采集——海量性、多样性（结构化、半结构化、非结构化）、实时性；数据预处理——针对性、实用性、高效性，核心目标是“提质去杂”。

二、大数据采集核心内容（实操重点）

（一）核心数据源（必记，区分类型）

按来源精简3类核心，贴合函授考点，摒弃小众数据源：

1.结构化数据：来自数据库（MySQL、Oracle）、Excel表格等，格式规范、易处理（如用户信息、交易记录）；

2.半结构化数据：格式不固定但有规律（如XML、JSON文件、网页HTML）；

3.非结构化数据：无固定格式（如文本、图片、音频、视频），采集难度较高，需专用工具。