大数据管理平台.pdf

大数据管理平台--第1页

大数据管理平台（数据中心）建设方案

1.1.大数据中心建设需求描述

建设大数据管理中台，按照统一的数据规范和标准体系，构建统

一数据采集-治理-共享标准、统一技术开发体系、统一接口API，实

现数据采集、平台治理，业务应用三层解耦，并按照统一标准格式提

供高效的数据支撑服务，保证上层业务应用系统能够更加专注于业务

流与数据流的梳理和重构，从而释放数据压力，节约系统开发周期，

提升系统建设效率，满足企业、政府数据精细治理、分类组织、精准

服务、安全可控的数据资源体系管理目标。

1.2.需求分析

在业务系统较复杂的情况下，大数据管理平台中的主流的解决方

案为技术中台解决方案，主要目的为打破信息孤岛。

在数据中台建设中，我们主要有以下目标：

(1)去重,避免重复建设，规避重复造轮子/烟囱式架构节约公司

成本；

(2)复用,系统快速复用，标准化、组件化、松耦合，支持前台业

务快速迭代、灵活创新；

(3)做强,能力不断沉淀，服务可被不断滋养，系统可统一把控；

建设数据中台采用如下方法：

(1)明确中台建设目标及领域；

(2)梳理价值链并萃取功能点；

大数据管理平台--第1页

大数据管理平台--第2页

(3)设计中台并梳理前中后关系;

在决策支持方案中，我们采用的数据存储于数据仓库中，有质量

管控，决策支持，采用的思路为，有什么样的数据，我们分析什么样

的数据；在数据中台方案中我们采用数据驱动的方式，以数据数据价

值为驱动，采集更多的数据，是干什么样的事，采集什么样的数据。

数据运营优化中，采用规范数据，规范数据应用，优化中台，形成数

据应用闭环（数据分析闭环）。

解决数据孤岛，让数据发挥价值，回馈企业。采用以数据为驱动，

按照需要什么样的数据，采集什么样的方式。数据的来源以多系统的

真实数据和设备采集的实时数据为基础。

在大数据系统（数据中台）中，我们需要对各个子系统静态数据

与采集实时流数据进行标准化。在数据治理的过程中，我们采用对不

同数据源的接入，提供对元数据的整体管理能力，提供目录和标签的

管理，同时针对数据本身提供权限访问，数据探查和质量报告等提高

数据治理的能力和水平。

1.3.重难点分析

从布点、收集、存储、刷新、识辨、关联、挖掘、决策、行动、

再到反馈，这样一个闭环，才能让数据驱动业务。在数据真实性的前

提下，数据驱动业务，才能以数据为驱动，为企业提供经营决策，创

造效益。构建大数据分析系统（数据中台），存在一下问题：

(1)数据采集的正确性确定难，从一端流向另一端，不可避免会

产生转化率的问题，如何将非真实的数据与异常的数据过滤掉，收集

大数据管理平台--第2页

大数据管理平台--第3页

真实的数据，实现完整的数据闭环，才能让数据挖掘、数据分析变成

商业价值。数据真实性的收集，异常数据的过滤，在大数据平台建设

过程中，是建设的难点之一。

(2)技术选型困难，不同业务方有不同的数据需求，技术选型时

依据这些客观需求及主观偏好，会选择不同的计算框架和数据组件，

搭建一个合适特定行业的业务架构与技术架构，让企业转型变简单，

也成为建立大数据分析系统的难点；

(3)数据需求多样，业务部门需求多样化，包括报表计算、可视

化看板、数据探索、数据服务、结果推送、数据采集及迁移、标签体

系、用户触达、数据应用；

(4)数据管理复杂，数据的可解释