数据分析技术与应用手册.docxVIP

数据分析技术与应用手册

第1章数据基础与预处理

1.1数据概念与类型辨析

数据是指经过收集、整理、加工后，能够反映客观世界现象及其相互关系的信息集合，是数据科学分析工作的基石。在数据科学领域，数据通常被划分为结构化数据、非结构化数据和半结构化数据三大核心类别，它们各自具有独特的存储格式和处理逻辑。结构化数据以表格形式存储，具有固定的列宽和固定的行数，例如数据库中的客户交易表或Excel工作表，其数据适合通过SQL语言进行高效的查询和聚合分析。

非结构化数据缺乏固定的格式和语义结构，无法被传统数据库直接识别，主要包括自然语言文本、图像、音频和视频文件，如用户评论、社交媒体帖子或拍摄的照片，它们需要借助自然语言处理（NLP）或计算机视觉技术进行解析。半结构化数据介于结构化与非结构化之间，拥有固定的标签或键值对结构但缺乏固定的行或列，常见的JSON、XML和Parquet文件格式均属于此类，它们既便于机器读取，又支持灵活的扩展，是连接结构化与非结构化数据的重要桥梁。数据分类的本质在于其物理存储形态与语义含义的耦合，理解这一区别对于后续环节的数据清洗至关重要，因为不同类型的原始数据往往需要采用截然不同的预处理策略。

在实际业务场景中，数据源往往混杂了多种类型，例如电商平台的日志系统可能同时包含结构化的订单记录和非结构化的用户行为日志，因此建立统一的数据治