大数据分析与数据可视化手册.docxVIP

大数据分析与数据可视化手册

第1章大数据基础架构与数据治理

1.1数据全生命周期管理

数据生命周期是指数据从产生、获取、存储、处理、分析到归档和销毁的全过程管理，其核心在于“谁在何时使用、为何使用、使用后去向何方”的闭环控制。在数据产生阶段，企业需建立统一的数据接入规范，规定所有外部数据源（如API接口、CSV文件、数据库导出）必须经过标准化清洗才能进入系统，例如规定JSON格式必须去除空值，Excel文件必须统一编码格式。

存储阶段要求数据按业务场景和生命周期自动分类，如将高频交易数据标记为热数据（T+1存储），将历史日志数据归档至冷存储或对象存储，并设定自动删除