2025年大数据分析与决策手册.docxVIP

2025年大数据分析与决策手册

第1章数据基础与采集

1.1数据分类与特性

数据是信息的载体，是进行分析与决策的基础。在大数据时代，数据分为结构化数据（StructuredData）和非结构化数据（UnstructuredData）两大类。结构化数据如数据库中的表格数据，具有明确的字段和格式；非结构化数据如文本、图像、音频、视频等，缺乏固定的格式，难以直接用于传统数据分析。数据具有多种特性，包括完整性、准确性、一致性、时效性、相关性、可扩展性等。例如，用户行为数据需具备高时效性，以支持实时决策；而企业财务数据则需具备高准确性，以确保财务报告的可靠性。

数据分类可以从多个维度进行，如按数据来源（内部/外部）、按数据类型（结构化/非结构化）、按数据用途（分析/交易）、按数据结构（表格/图谱）等。例如，电商平台的用户画像数据通常包含用户ID、性别、年龄、浏览记录、购买行为等结构化信息，而用户评论文本则属于非结构化数据。数据的特性还涉及数据的维度（如时间、地点、用户等）和粒度（如细粒度到用户行为，粗粒度到企业级）。例如，销售数据按时间维度可分为日、周、月，按用户维度可分为单用户、群体用户，按产品维度可分为产品A、产品B等。数据的存储形式包括关系型数据库（如MySQL、Oracle）、非关系型数据库（如MongoDB、Redis）、列式数据库（如Hadoop的Hive）