大数据分析应用手册（执行版）.docxVIP

大数据分析应用手册（执行版）

第1章数据采集与预处理

1.1数据来源与类型

数据采集是大数据分析的第一步，涉及从多种渠道获取结构化与非结构化数据。常见的数据来源包括数据库、日志文件、传感器、社交媒体、电商平台、物联网设备、政府公开数据、API接口等。根据数据的性质，可分为结构化数据（如关系型数据库中的表格数据）、非结构化数据（如文本、图片、视频、音频）和半结构化数据（如XML、JSON格式的数据）。

在实际应用中，企业通常采用多源异构数据融合的方式，例如通过API接口连接多个数据源，或通过ETL（Extract,Transform,Load）工具将不同格式的数据统一为统一的