数据中台实现方案大数据平台投标技术建议书.pdfVIP

么是数据中台

大数据平台的作用

大数据平台的作用，就是为了提高数据研发的效率，降低数据研发的门槛，让数据能够

在一个设备流水线上快速地完成加工，大数据平台按照使用场景，分为数据集成、数据开发、

数据测试...任务运维等，大数据平合的使用对象是数开发大数平台的底层是以Hadop为

代表的各种基础设施，分为存储、计算、资源调度和运维监控等

大数据平台像一条设备流水线，经过大数据平台的加工，原始数据变成了指标，出现在

各个报表或者数据产品中，联网高速发展，背后对数据的需求越来越多，数据的应用场景

也越来越多，有大量的数据产品进入到了我们运营的日常工作，成为运营工作中不可或缺的

一部分在电商业务中，有供应链系统，供应链系统会根各个商品的毛利、库存、销售数据

以及商品的舆情，产生商品的补货决策，然后推送给采购系统随着数据需求的快速增长，

报表、指标、数模型越来越多，找不到数据，数据不好用，数据需求响应速度慢等问题日益

尖锐，成为阻寒数据产生价值的绊脚石

数据中台定义

一般来说，数据中台是指通过数据技术对海量数据进行采集、计算、存储和处理，同时

统一标准和口径，形成全域级、可复用的数据资产中心和数据存储能力中心，形成大数据资

产层，进而为客户提供高效的服务形象地讲，数据中台构建的服务考虑了“可复用性”，

每项服务都像一个积木，可以随意组合，灵活高效地解决前台的个性化需求

从效用意义上讲，狭义的数据中台是一套实现数据资产化的工具，广义的数据中台是一

套利用数据，进而帮助企业实现数字化转型的机制和方法，

从技术角度来看，数据中台是一种新型的IT架构;

从管理角度看，数据中台是一种新型的组织管理模式和理念;

从战略角度来看，数据中台是为了应对日益复杂的环境而构建的一种新型战略工具和竞

争壁垒

总之，数据中台的核心理念是数据取之于业务，用之于业务”，跟传统数据平台相比，数

据中台着眼于业务的积累和沉淀，构建了从数据生产到消费、消费后数推返回到生产的闭环

过程

”让一切业务数据化，一切数据业务化”是对数据中台系统功能的精要概括

数据中台的核心，是避免数据的重复计算，通过数据服务化，提高数据的共享能力，赋

能数据应用之前，数据是要啥没啥，中间数据难于共享，无法积累现在建设数据中台之

后，要啥有啥，数据应用的研发速度不再受限于数据开发的速度，然后我们就可以根据需求

场景，快速孵化出很多数据应用，这些应用让数据产生价值

总的来说，数据中台吸收了传统数据仓库、数据湖、大数据平台的优势，同时又解决了

数据共享的难题，通过数据应用，实现数据价值的落地

数据中台适合企业

大量数据产品的出现，在不断提高企业运营效率的同时，也暴露出很多尖锐的问题，在

我看来，主要有五点：

1、指标口径不一致:主要原因:业务口径不一致、计算逻辑不一致、数据来源不一致，要实

现一致，就务必确保对同一个指标，只有一个业务口径，只加工一次，数据来源必须相同

2、数据重复建设，需求响应时间长:解决数据复用的问题，要确保相同数据只加工一次，

实现数据的共享

3、取数效率低:面对几千其至上宗张夷，运营，开发或者分析师想要快速找到想要的数，

以及做至精准理解这些数据意义，都非常的困难，所以需要拘建一个全局的企业数据资产目录，

实现数据地图的功能，快速找到数据

4、数据质量差:没有数据稽核任务，运营不相信数据存储数据链路，及时发现数据质量

问题，并恢复数据

5、数据成本线性增长:大企业烟肉式开发，导致一个企业拥有很多小数仓，不同数可能开

发相同任务，导致资源浪费，而且也做不到淘汰低价值数据任务所以解决方案的核心:解决数

据重复建设，打通数据孤岛

因此，数据中台是企业构建的标准的、安全的、统一的、共享的数据组织，通过数据服

务化的方式支撑前端数据应用数据中台消除了冗余数据，构建了企业级数据资产，提高了

数据的共享能力

解决方案

那么数据中台如何解决呢?

在我看来，要解决烟囱式开发面临的数据存几余，数据计算几余等问题，就只能构筑一

个统一的平台，提供统一的出入口:OneDataOneServic由一个团队，负责所有指标的管

控，明确每个指标的业务口径，数据来源和计算逻辑，消除指标二义性，确保任何一个指标

的意义和计算逻，在全公司都只有一个唯一的相同口径