2025年大数据分析应用手册.docx

2025年大数据分析应用手册

第1章数据采集与预处理

1.1数据来源与类型

数据来源是大数据分析应用的核心基础，通常包括结构化数据、非结构化数据、实时数据、历史数据等。结构化数据如数据库中的表格数据、Excel文件、关系型数据库等；非结构化数据包括文本、图片、视频、音频等；实时数据来源于物联网、传感器、社交媒体等；历史数据则来自企业数据库、交易记录、用户行为日志等。在实际应用中，数据来源往往来自多个渠道，如企业内部系统、第三方API、用户行为日志、社交媒体平台、物联网设备等。例如，电商平台的用户行为数据可能来自用户、浏览、购买记录，而社交媒体数据则来自微博、、抖音等平台的用户发布内容