分析与挖掘技术手册（执行版）.docx

分析与挖掘技术手册（执行版）

第1章数据采集与预处理

1.1数据来源与类型

数据采集是数据预处理的第一步，其核心在于确定数据的来源和类型。数据来源可以是结构化数据（如数据库、Excel表格）或非结构化数据（如文本、图像、音频、视频）。在实际应用中，数据来源通常包括内部系统（如CRM、ERP）、外部API、物联网设备、社交媒体、传感器等。数据类型主要包括结构化数据（如数值、日期、文本）、半结构化数据（如JSON、XML）和非结构化数据（如PDF、图片、视频）。结构化数据易于存储和分析，而非结构化数据则需要通过自然语言处理（NLP）或图像识别技术进行处理。

在数据采集过程中，需明确