大数据应用与数据处理手册.docx

大数据应用与数据处理手册

第1章数据采集与预处理

1.1数据来源与类型

数据来源是数据采集过程中的起点，常见的数据来源包括结构化数据（如数据库、关系型表）、非结构化数据（如文本、图像、音频、视频）、半结构化数据（如XML、JSON）以及实时数据流（如物联网传感器数据）。企业内部数据可能来自ERP系统、CRM系统、用户行为日志、交易记录等；外部数据则可能来自公开数据库、社交媒体、市场调研报告、第三方API等。

在实际应用中，数据来源通常需要进行分类，例如按数据类型分为结构化数据、非结构化数据、半结构化数据；按数据来源分为内部数据、外部数据、实时数据等。数据来源的多样性决定了数据处