数据仓库概述.docxVIP

? ? 数据仓库 ? ? OneData建设探索之路：SaaS收银运营数仓建设 背景 随着美团业务的发展，频繁迭代和跨部门的垂直业务单元变得越来越多。但由于缺乏前期规划，导致后期数仓出现了严重的数据质量问题，这给数据治理工作带来了很大的挑战。在数据仓库建设过程中，我们总结的问题包括如下几点： 缺乏统一的业务和技术标准，如：开发规范、指标口径和交付标准不统一。 缺乏有效统一的数据质量监控，如：列值信息不完整和不准确，SLA时效无法保障等。 业务知识体系散乱不集中，导致不同研发人员对业务理解存在较大的偏差，造成产品的开发成本显著增加。 数据架构不合理，主要体现在数据层之间的分工不明显，缺乏一致的基础数据层，缺失统一维度和指标管理。 目标 在现有大数据平台的基础上，借鉴业界成熟OneData方法论，构建合理的数据体系架构、数据规范、模型标准和开发模式，以保障数据快速支撑不断变化的业务并驱动业务的发展，最终形成我们自己的OneData理论体系与实践体系。 OneData探索 OneData：行业经验 在数据建设方面，阿里巴巴提出了一种OneData标准，如图-1所示： 图1 OneData标准 OneData：我们的思考 他山之石，可以攻玉。我们结合实际情况和业界经验，进行了如下思考： 1.对阿里巴巴OneData的思考 整个OneData体系覆盖范围广，包含数据规范定义体系、数据