大数据分析与数据挖掘手册.docx

大数据分析与数据挖掘手册

第1章数据采集与预处理

1.1数据来源与类型

数据采集是大数据分析与数据挖掘的第一步，数据来源于多种渠道，包括结构化数据（如数据库、ERP系统）和非结构化数据（如文本、图像、音频、视频）。在实际应用中，数据可能来自企业内部系统、社交媒体、物联网设备、传感器网络、政府公开数据等。数据类型主要包括结构化数据（如表格形式）、半结构化数据（如XML、JSON格式）和非结构化数据（如文本、图像、音频）。结构化数据易于存储和处理，常用于建立数据库；半结构化数据需要特定的解析方法；非结构化数据则需要复杂的文本挖掘或图像识别技术。

在实际项目中，数据来源可能涉及多个系统