大数据分析与数据挖掘指南.docxVIP

大数据分析与数据挖掘指南

第1章大数据基础概念与架构

1.1数据要素定义与分类

数据要素是指经过收集、处理、分析后，能够产生价值并被广泛利用的信息资源，它是数字经济的核心驱动力，涵盖了从传感器采集的原始信号到商业决策支持的全生命周期信息。在分类体系中，数据要素首先按形态分为结构化数据（如SQL数据库中的表格数据）、半结构化数据（如JSON/XML配置文件）和非结构化数据（如文本文档、图片、视频），其中非结构化数据占比通常超过80%。

其次按来源划分，数据要素分为内部数据（如企业ERP系统产生的订单记录）和外部数据（如公开的行业报告、社交媒体评论、卫星遥感图像），外部数据往往具有更高的多样性和实时性。第三从价值属性看，数据要素分为原材料数据（未经加工，仅具备原始事实），经过清洗和转换后成为加工数据，最终转化为资产数据（如预测销量模型、用户画像），后者直接驱动业务增长。第四结合应用场景，数据要素分为感知数据（监控设备实时采集）、行为数据（用户和浏览轨迹）和决策数据（基于算法的策略建议），后两者通常用于构建智能生态系统的核心能力。

最后从数据生命周期角度，数据要素分为采集阶段（通过IoT或爬虫获取）、存储阶段（存入Hadoop或云存储）、处理阶段（ETL或流计算）及应用阶段（BI报表或机器学习预测），各阶段需严格遵循数据治理规范以确保一致性。