数据中台建设（规划篇）.pdfVIP

数数据据中中台台建建设设 （（规规划划篇篇）） 作作者者介介绍绍 @蒙佳恩 某⼤⼚数据中台产品经理 ； 专注于数据产品和数据 理，并持续学习中； “数据⼈创作者联盟”成员。 ⼀⼀ 什什么么是是数数据据中中台台 11..11 数数据据中中台台的的定定义义 数据中台不是数据平台，数据中台是处于业务前台和技术后台的中间层，是对业务提供的数据能⼒的抽象和共享的过程， 数据中台通过将企业的数据变成数据资产，并提供数据能⼒组件和运⾏机制，形成聚合数据接⼊、集成、清洗加⼯、建模处理、挖掘分析，并以共 享服务的⽅式将数据提供给业务端使⽤，从⽽与业务产⽣联动，⽽后结合业务系统的数据⽣产能⼒，最终构建数据⽣产消费再⽣的闭环，通过这 样持续使⽤数据、产⽣智能、反哺业务从⽽实现数据变现的系统和机制。 数据⽣产》消费》再⽣闭环图 11..22 为为什什么么要要建建设设数数据据中中台台 数据中台建设的背景跟企业的业务发展阶段和信息技术建设阶段紧密结合，不单单要投⼊⼤量的建设⼈⼒成本，还有有配套的组织制度、运营团队 配合为他保驾护航。所以为什么建设数据中台，希望能达成什么样的⽬标，对不同企业都来说都是⾮常重要数据中台建设的起点。⾏业⾥，数据中 台的主要原因有以下三点 ： 00 11 产产品品矩矩阵阵庞庞⼤⼤，，响响应应不不及及时时，，响响应应 理理混混乱乱 业务发展迅速，产品矩阵庞⼤，企业数据平台的服务能⼒有限，响应不及时，同时响应 理混乱，导致数据服务实效延迟，及服务体验较差，影响 到业务端数据使⽤体验和展业效果，有必要进⾏统⼀的、模块化、标准化的服务能⼒ 理和输出，实现对业务端的数据需求的精准满⾜和⾼效响 应。 0022 烟烟 囱囱式式建建设设数数据据平平台台，，⼤⼤量量源源被被浪浪费费 由于业务快速发展和缺乏对整个产品矩阵的数据产品体系进⾏整体规划，就会出现多个业务线烟囱式建设各 ⾃的从数据接⼊数据集成数据开发 数据应⽤》数据治理等阶段的产品，出现⼤量的重复建设，导致计算、开发⼈⼒、运维⼈⼒、存储等资源的重复浪费。对于这类现状在告诉发展阶 段的企业是常见状态，有必要对整个产品矩阵做整体的数据中台能⼒的规划，让业务的数据需求在不断增加的情况下，企业的有整套的可复⽤的数 据能⼒库及配套机制，⽀持业务正常运转，节省研发成本 0033 数数据据治治理理的的需需要要 ⾯对业务已经沉淀的⼤量数据，逐步形成了企业的数据资产。⽽这些数据资产如何成为可持续使⽤的，为企业带来价值的数据，需要数据治理进⾏ 提升数据质量，⽐如设计数据质量校验的规则和使⽤流程，设计数据 控权限，数据如何安全输出及共享的设计等，如何在整体上发挥出数据的协 同效应，为业务提供更⾼价值的数据服务链路，数据中台可以将这些数据能⼒整合到⼀起，对业务端提供稳定的持续的服务能⼒。 ⼆⼆ 数数据据中中台台的的架架构构 数据中台建设是个宏⼤的系统⼯程，前期的整体架构规划在整个项 ⽬中尤其重要，接下来按照数据活动进⾏分层，分为底层服务、数据接⼊、数据 整合、数据挖掘分析、业务应⽤、数据服务 理六层，并全程贯穿数据安全 控活动。接下来将分别简单阐述 ： 数据中台架构图 00 11 底底层层服服务务 底层服务层重点为整个数据中台，从数据接⼊层到数据安全 控全流程的数据活动，提供统⼀的数据存储资源、计算引擎、数据处理中间件服务， 增强了服务器资源的有效调度和统⼀ 理。 0022 数数据据接接⼊⼊ 数据接⼊层提供统⼀的数据接⼊平台，根据数据采集的业务场景，平台提供了数据收集的⼯具及解决⽅案，让数据采集》数据传输》数据存储》数 据资源 理全链路都可⾃动化完成，并实现对活动任务的⾃动化监控。 0033 数数据据整整合合 数据整合层提供统⼀数据处理及标签/模型开发服务。在整合层的数据需求应当来 ⾃企业的数据使⽤场景对数据进⾏建模，⽣成如标签 理、数据 仓库这样的服务平台，为企业的数据团队／业务团队使⽤数据提供⼀个⾼效的整合后的数据源。并在这⼀层对数据进⾏治理，例如编码规范、主题 域划分，表模型规划、数据质量校验规则设计等都在这⼀层完成，通过这些模型、规范及平台的协同作⽤，为企业提供可⾼效获取并质量可靠的数 据。 0044 数数据据挖挖掘掘分分析析 数据挖掘