大数据分析与处理指南手册（执行版）.docx

大数据分析与处理指南手册（执行版）

第1章数据采集与预处理

1.1数据来源与类型

数据来源是数据采集的第一步，决定了数据的完整性和准确性。常见的数据来源包括结构化数据（如数据库、Excel表格）、非结构化数据（如日志文件、文本、图片）、实时数据（如IoT传感器数据）以及外部数据（如第三方API、市场调研数据）。在实际应用中，需根据业务需求选择合适的数据源，例如金融行业通常依赖银行系统和第三方支付平台的数据，而电商行业则更多依赖用户行为日志和订单数据。数据类型主要包括结构化数据（如表格、关系型数据库）、半结构化数据（如JSON、XML）、非结构化数据（如PDF、图片、视频）以及时间序