2025年大数据行业运维部运维工数据处理操作手册.docxVIP

2025年大数据行业运维部运维工数据处理操作手册

第1章基础架构与数据治理规范

1.1数据湖存储体系架构设计

1.1.1分层存储策略与文件命名规范

数据湖采用“存储分离”架构，将原始数据、加工数据和最终模型数据物理隔离，底层存储引擎选用对象存储（如HDFS或MinIO），确保海量非结构化数据的弹性扩展能力。为提升查询效率，需建立严格的分层目录体系：原始数据层（Raw）存放未清洗的原始日志和文件，经过ETL清洗后的数据层（Clean）存放T+1加工结果，而最终分析模型层（Model）存放经过机器学习算法转换后的特征向量。

文件命名必须遵循ISO8601标