大数据应用与分析手册.docxVIP

大数据应用与分析手册

第1章数据采集与预处理

1.1数据来源与类型

数据采集是大数据应用与分析的基础，数据来源广泛，包括结构化数据（如数据库、表格）、非结构化数据（如文本、图像、音频、视频）以及实时流数据（如IoT传感器数据、日志文件）。常见的数据来源包括企业内部数据库、第三方API、社交媒体平台、物联网设备、政府公开数据、科学研究数据等。

数据类型可分为结构化数据（如关系型数据库中的表格）、非结构化数据（如PDF、图片、视频）、半结构化数据（如XML、JSON）以及实时流数据（如Kafka、Flink中的消息队列）。在实际应用中，数据来源的多样性要求采集工具具备多格式支持，例