大数据处理与分析技巧手册（执行版）.docxVIP

大数据处理与分析技巧手册（执行版）

第1章数据采集与预处理

1.1数据来源与类型

数据采集是大数据处理的第一步，数据来源可以是结构化数据（如数据库、Excel表格）、非结构化数据（如文本、图片、视频）以及实时数据（如IoT传感器、日志文件）等。在实际应用中，数据来源通常来自多个渠道，包括内部系统、外部API、社交媒体、物联网设备、用户行为日志等。数据类型主要包括结构化数据（如关系型数据库中的表格）、半结构化数据（如JSON、XML格式）、非结构化数据（如PDF、图片、视频）以及实时流数据（如Kafka、Flume等）。不同的数据类型需要不同的处理方式，例如结构化数据适合使用SQL查询