2025年大数据挖掘与商业智能分析手册.docxVIP

2025年大数据挖掘与商业智能分析手册

第1章数据采集与处理基础

1.1数据源分类与选择

数据源可以分为结构化数据、非结构化数据、半结构化数据和实时数据等类型。结构化数据如关系型数据库（如MySQL、Oracle）中的表格数据，非结构化数据如文本、图片、视频等，半结构化数据如XML、JSON格式的数据，实时数据则来源于传感器、物联网设备等实时采集的数据。在选择数据源时，需考虑数据的完整性、一致性、时效性及可用性。例如，电商平台的用户行为数据来自用户、浏览、购买等行为日志，这些数据通常存储在关系型数据库中，具有较高的结构化程度。

数据源的选择需结合业务需求，如金融行业的交易数据通