大数据分析与数据挖掘技术手册（执行版）.docx

大数据分析与数据挖掘技术手册（执行版）

第1章数据采集与预处理

1.1数据来源与类型

数据来源是大数据分析与数据挖掘的基础，常见的数据来源包括结构化数据（如数据库、关系型表）、非结构化数据（如文本、图像、视频）、半结构化数据（如XML、JSON）以及实时流数据（如物联网传感器数据）。在实际应用中，数据可能来源于企业内部系统、第三方API、社交媒体、用户行为日志、交易记录等。数据类型可以根据数据的结构和内容进行分类，包括数值型数据（如用户年龄、订单金额）、类别型数据（如用户性别、产品类别）、时间序列数据（如每日用户活跃次数）、文本数据（如用户评论、新闻摘要）等。不同类型的数据在数据预