大数据分析与应用手册（执行版）.docx

大数据分析与应用手册（执行版）

第1章数据采集与处理

1.1数据来源与类型

数据来源是大数据分析的基础，主要包括结构化数据、非结构化数据、实时数据和历史数据等。结构化数据如数据库中的表格数据，常见于企业ERP、CRM系统；非结构化数据包括文本、图片、视频、音频等，广泛存在于社交媒体、用户评论、网页内容中。实时数据是指在数据过程中即刻被采集和处理的数据，如物联网传感器数据、交易流数据等；历史数据则用于趋势分析和预测建模，如销售记录、用户行为日志等。数据来源可以来自内部系统（如企业内部数据库、业务系统）或外部系统（如第三方API、公开数据集、社交媒体平台）。在实际操作中，企业通常会采用