数据分析技术与商业应用手册.docx

数据分析技术与商业应用手册

第1章数据基础与核心概念

1.1数据全生命周期概述

数据生命周期是指数据从产生、采集、存储、处理到最终销毁的完整时间序列过程，贯穿业务运营的始终。在手册中，我们将此过程划分为五个关键阶段：数据产生（如销售订单录入）、数据清洗（剔除异常值）、数据存储（存入HDFS或对象存储）、数据应用（BI报表分析）以及数据归档（长期保留以备查）。理解全生命周期有助于识别数据在各个环节的损耗点。例如，在“产生”阶段，若员工未正确填写身份证号，数据即产生错误；在“存储”阶段，若未进行加密，敏感信息面临泄露风险；在“应用”阶段，若未做脱敏，可能引发合规处罚。

每个阶段