数据分析技术与方法手册.docx

数据分析技术与方法手册

第1章数据基础概念与采集

1.1数据的基本属性与分类

数据的基本属性是指数据在存储、处理和传输过程中所表现出的内在特征，主要包括数据的五个维度：数据的来源（如传感器读数、用户日志）、数据的结构（如表格、非结构化文本）、数据的质量（如准确性、完整性）、数据的时间范围（如过去24小时）以及数据的用途（如用于建模还是仅用于监控）。只有明确这些属性，才能确定数据是否需要加密、是否需要去重以及是否适合直接用于机器学习算法。在数据分类体系中，数据通常分为结构化数据、半结构化数据和非结构化数据三大类。结构化数据具有固定的格式，如关系型数据库中的SQL记录，每一列都有明