湖仓一体数据架构与查询加速.docx

湖仓一体数据架构设计与查询加速优化实施实例

（软件研发技术文档·数据与实例为据）

第一章现状与建设目标

本文档记录物流供应链分析平台把数据湖与数据仓库合并为湖仓一体架构的过程。改造前湖放原始数据在HDFS约280TB、仓放加工结果在MPP约42TB，两套存储、两套ETL、数据重复率约65%。

目标定4条：消除数据重复让存储降50%以上、统一查询入口让分析师不再切换两套工具、湖上查询P90不超15秒、数据时效从T+1提升到1小时以内。团队分4期、100天交付。

表1-1建设目标

改造项

改造前

改造后

收益

存储重复

65%

约8%

-57百分点

查询工具

两套

一套

统一入口

湖上P9