数据中台详细介绍[整理].pdfVIP

到底什么是数据中台？ 导读： 数据中台被誉为大数据的下一站，由阿里兴起，核心思想是数据共 享，并在 2018 年因为“腾讯数据中台论”再度成为了人们谈论的焦点。在 3 月 15 日 ThoughtWorks 技术雷达峰会上，关于数据中台的话题也获得了众多参会者 的热烈关注。如今似乎人人都在提数据中台，但却不是所有人都清楚数据中台到底 意味着什么。数据中台是只有大厂才需要考虑的高大上的概念吗？普通企业该不该 做数据中台？数据中台的出现会给现有数据从业者们带来颠覆式的挑战吗？带着上 述问题， InfoQ 在技术雷达峰会上采访了 ThoughtWorks 数据和智能总监史凯，谈 谈他对于数据中台的看法。 数据中台不是大数据平台！ 首先它不是一个平台，也不是一个系统，如果有厂商说他们有个数据中台 卖给你，对不起，它是个骗子。 要回答数据中台是什么，首先要探讨一下中台到底是什么。虽然没有明确 的定义，但是作为理工直男，我们可以先把中台看作是一种中间层。既然是一 种中间层，那么中台确实是一种十足技术用语，我们可以完全从技术角度来探 讨了。 我们可以应用 Gartner 的 Pace Layer 来理解为什么要有中间层，这样可 以更好地理解中台的定位和价值。 Pace Layer 里提到，可以按照事物变化的速 度来分层，这样可以逐层分析并设计合理的边界与服务。 在数据开发中，核心数据模型的变化是相对缓慢的，同时，对数据进行维 护的工作量也非常大；但业务创新的速度、对数据提出的需求的变化，是非常 快速的。 数据中台的出现，就是为了弥补数据开发和应用开发之间，由于开发速度 不匹配，出现的响应力跟不上的问题。 数据中台解决的问题可以总结为如下三点： 1. 效率问题：为什么应用开发增加一个报表，就要十几天时间？为什么不能 实时获得用户推荐清单？当业务人员对数据产生一点疑问的时候，需要花费很长的 时间，结果发现是数据源的数据变了，最终影响上线时间。 2. 协作问题：当业务应用开发的时候，虽然和别的项目需求大致差不多，但 因为是别的项目组维护的，所以数据还是要自己再开发一遍。 3. 能力问题：数据的处理和维护是一个相对独立的技术，需要相当专业的人 来完成，但是很多时候，我们有一大把的应用开发人员，而数据开发人员很少。 这三类问题都会导致应用开发团队变慢。这就是中台的关键——让前台开 发团队的开发速度不受后台数据开发的影响。 史凯总结说，“数据中台是聚合和治理跨域数据，将数据抽象封装成服 务，提供给前台以业务价值的逻辑概念”。 如下图所示： DData API 是数据中台的核心，它是连接前台和后台的桥梁，通过 API 的 方式提供数据服务，而不是直接把数据库给前台、让前台开发自行使用数据。 至于产生 DataAPI 的过程，怎么样让 DataAPI 产生得更快，怎么样让 DATA API 更加清晰，怎么样让 DATA API 的数据质量更好，这些是要围绕数据中台 去构建的能力。 数据中台和数据仓库、数据平台的关键区别 这是现在数据行业大家经常讨论的问题，到底数据仓库、数据平台和数据 中台的区别是什么。 概括地说，三者的关键区别有以下几方面： 1. 数据中台是企业级的逻辑概念，体现企业 D2V （Data to Value ）的能 力，为业务提供服务的主要方式是数据 API ； 2. 数据仓库是一个相对具体的功能概念，是存储和管理一个或多个主题数 据的集合，为业务提供服务的方式主要是分析报表； 3. 数据平台是在大数据基础上出现的融合了结构化和非结构化数据的数据 基础平台，为业务提供服务的方式主要是直接提供数据集； 4. 数据中台距离业务更近，为业务提供速度更快的服务； 5. 数据仓库是为了支持管理决策分析，而数据中台则是将数据服务化之后 提供给业务系统，不仅限于分析型场景，也适用于交易型场景；