大数据分析与商业智能手册.docxVIP

大数据分析与商业智能手册

第1章大数据基础架构与数据治理

1.1数据全生命周期管理概述

数据生命周期是指数据从产生、收集、存储、处理到最终销毁的完整时间序列。在大数据环境下，这一过程不再是线性的，而是随着业务场景的复杂化，演变为包含“采集-清洗-存储-应用-归档-销毁”六个核心阶段的动态闭环。全生命周期管理的首要任务是“采集”，即必须建立标准化的数据接入协议，支持结构化、半结构化及非结构化数据（如日志、图片、视频）的统一入口，确保源头数据的完整性与一致性。

进入“清洗”阶段时，需实施严格的ETL（抽取、转换、加载）流程，利用数据清洗工具剔除重复行、修正格式错