技术与数据分析手册.docx

技术与数据分析手册

第1章

数据基础与核心概念

1.1数据生命周期全周期解析

数据从产生到最终消亡的完整旅程被称为数据生命周期，它贯穿了从数据采集、存储、处理、分析到归档与销毁的全过程。理解这一周期是确保数据价值最大化且合规的基础。

数据采集阶段始于业务场景触发，需明确采集目的与范围，例如电商网站在用户浏览商品详情页时自动触发数据采集，此时必须遵循最小化原则，只收集与交易直接相关的用户行为日志。数据清洗是生命周期中的核心环节，旨在剔除异常值、重复记录和缺失值，例如在销售数据清洗中，需识别并删除因系统故障导致的“负数销售额”记录，同时合并时间戳格式不一致的订单时间字段。

数据存储阶段