大数据分析与挖掘技术手册.docxVIP

大数据分析与挖掘技术手册

第1章数据采集与预处理

1.1数据来源与类型

数据来源是大数据分析与挖掘的基础，常见的数据来源包括结构化数据（如数据库、关系型系统）、非结构化数据（如文本、图像、音频、视频）、半结构化数据（如XML、JSON）以及实时数据流。在实际应用中，数据来源可能来自企业内部系统（如CRM、ERP）、外部API接口、物联网设备、社交媒体平台、政府公开数据等。例如，电商企业可能从用户行为日志、订单数据、物流信息等多源数据中获取用户画像信息。

数据类型多样，需根据分析目标进行分类。结构化数据适合用SQL数据库存储，非结构化数据则需使用NoSQL数据库或文件存储系统。例