大型集团企业数字化转型数据中台建设方案.docx

大型集团企业数字化转型数据中台建设方案

整理制作：郎丰利1519

目录

TOC\o1-3\h\z\u1. 大数据平台 3

1.1.数据采集层 3

1.2.数据计算与存储层 4

1.3.数据分析层 4

1.4.数据服务层 4

1.5.数据应用层 4

1.6.数据资产、质量管理 5

1.7.运维管理 5

1.8.系统管理 5

2. 人工智能平台 6

3. BI分析平台 8

4. 机理模型库 9

5. 计算与存储 10

6. 离线计算 12

7. 实时计算 13

8. 数据集成 14

9. 数据资产管理 15

9.1.数据标准管理 15

9.2.数据资产目录管理 15

9.3.数据指标管理 15

9.4.元数据管理 16

9.5.主数据管理 16

9.6.数据安全管理 17

10. 数据质量管理 18

11. 数据分析与查询 19

12. 数据服务 19

13. 实时数据库 19

14. 运维管理 20

大数据平台

大数据平台总体技术架构图

平台应采用Hadoop生态为基础的大数据框架为基础，构建平台的存储计算能力，达到共用大数据平台集群资源的目的；开展实时数据、标识系统、设备信息等的标准化建设，为数据集成集中奠定基础；广泛采用传感、自动识别、语义识别等技术采集数据，进一步提升数据获取和挖掘能力；抽取清洗治理存储生产实时数据，开展生产、营销、财务、物资、人资、基建等管理信息系统的整合与数据治理，实现数据互通和数据共享；构建一体化的数据管理平台，提高信息获取利用效率与信息集中管控能力。

1.1.数据采集层

通过ETL抽取工具，对公司各业务系统和外部数据进行全量和增量抽取数据到大数据仓库，通过实时数据采集装置将生产设备数据采集到大数据平台的时序数据存储系统。通过CDC增量数据捕捉工具实时获取关系型数据库数据变化，通过高性能消息队列服务接收和传输数据，清洗融合进入数据湖仓库，汇总到大数据平台数据仓库，并实现实时数据处理和提供数据服务，打造新一代实时大数据平台。

1.2.数据计算与存储层

对采集的数据进行清洗，定时调度计算抽取，根据大数据仓库模式建立DW、DM存储数据，融合打通数据，建立主题数据模型，提供实时数据服务，大数据平台集群提供分布式计算集群、实时流计算和离线批处理计算。

1.3.数据分析层

提供商业BI可视化分析、人工智能分析和数据治理功能，通过BI工具可进行交互式查询和可视化展现，对数据进行钻取分析，通过人工智能建模平台进行数据挖掘，拖拽式选择数据源、模型等组件建模，零编码进行数据挖掘建模、训练和预测。

1.4.数据服务层

提供数据服务开发方案，主要是为各类数据资源需求快速定制开发各类数据服务，包括业务数据查询、业务统计数据查询等服务。数据服务层支持多种数据接入方式，如：通过业务系统的数据加载与同步、实时流数据接入、人工上传文件数据、微服务数据服务接口等。数据服务层采用微服务架构进行设计，具备服务注册、动态令牌验证、服务路由和负载均衡能力，可实现快速部署，高安全、高可靠、高性能的运行服务。

1.5.数据应用层

在大数据平台上运行各类业务系统的数据查询分析、执行人工智能算法模型训练、以服务形式发布算法模型，为各类业务功能提供智能化服务。

1.6.数据资产、质量管理

数据资产提供元数据管理、血缘分析，建立数据目录对数据资产进行管理，提供数据资源地图，直观展示数据特点。可设置数据质量验证规则对数据进行校验，输出数据质量报告。

1.7.运维管理

提供大数据平台集群管理、组件管理、自动化部署等功能，对整个大数据平台进行管理。

1.8.系统管理

提供用户管理、权限管理、资源管理、项目管理，提供平台用户和权限等管理。

人工智能平台

人工智能平台架构图

充分考虑发电厂业务大数据的特性，构建基于大数据分析技术，即人工智能平台。采用Spark、AI、ML、DL和微服务等先进技术，利用其高性能、可容错的分布式并行计算技术，实现满足海量数据的存储、处理、分析的可伸缩的分析应用平台。平台应提供多种挖掘算法，支持对结构化数据、半结构化和非结构化海量数据的处理、分析和挖掘，支持二次开发。平台应内置常用基础算法模型，如：包括KMeans聚类、GM高斯混合模型、随机森林、神经网络、SVM支持向量机、FP-growth关联规则、OLS最小二乘法、EM最大期望值、决策树、线性回归、岭回归、梯度提升树、广义线性等常用算法模型。

提供可视化拖拽式操作建模支持，支持零编程开发AI模型，可实现一站式大数据智能分析平台，降低大数据分析的难度，可快速高效的支撑电力数字化和智能化应用场景的实现，能快速满足电力行业各种大数据分析挖掘主题需求。提供电力行业应用场景相适应的智能算法和模型，通过对机理模型和