大数据技术与产业发展手册.docxVIP

大数据技术与产业发展手册

第1章大数据基础理论架构

1.1数据生命周期全貌

数据生命周期是指数据从产生、采集、存储、处理到最终应用或销毁的全过程，是大数据技术运行的时间轴骨架。理解这一全貌是构建数据资产的基础。

数据产生阶段：这是生命周期起始点，通常发生在业务活动中。例如，电商网站用户在浏览商品时产生的日志、用户在社交媒体上发布的评论文本、工厂生产线的实时传感器数据，这些都是原始数据的源头，具有非结构化或半结构化特征。数据采集阶段：指将原始数据从各个异构源（如数据库、文件、网络接口）抽取并汇聚的过程。以物流场景为例，系统需通过API接口实时抓取仓库入库单、GPS定位轨迹和货运车辆位置信息，完成从“点状数据”到“汇聚数据”的转化。

数据存储阶段：数据经过清洗和初步处理后，被写入持久化存储系统。常见的存储范式包括关系型数据库（MySQL、Oracle）存储结构化字段，以及HDFS或分布式文件系统用于海量非结构化日志的存储。数据处理阶段：利用ETL（Extract-Transform-Load）或ELT工具对数据进行清洗、转换和整合。例如，将不同来源的订单数据统一编码为统一的订单号，去除重复记录，并将时间戳标准化为ISO8601格式。数据应用阶段：处理后的数据被加载到分析引擎或业务系统中，用于报表、支持决策或驱动自动化流程。在金融风控中，处理后