智慧城市数据中台设计与应用.docxVIP

智慧城市数据中台设计与应用

0前言

智慧城市经过十多年的信息化建设，各类信息化系统已全面应用于智能楼宇、智能园区、智能校园、智能社区等多个领域，为各项业务提供了有力支撑。但也存在很多不足之处：一是各领域各系统形成了以各自为中心的独立应用，如楼宇能耗与空间管理都是独立系统，导致了严重的流程断点和数据壁垒；二是数据利用率低，没有形成有效积累，系统之间数据重复获取；三是数据分析指标多而散、数据价值并没有有

——————————

收稿日期：2019-12-20

效体现，导致系统价值低。针对智慧城市发展的不足，需要将各系统数据统

一管理，形成数据生态，挖掘数据价值。构建数据中台，正是建设智慧城市中不可缺少的一环。数据中台可通过数据建模来实现跨业务的数据整合；通过数据服务对各个系统数据封装和共享；通过数据分析，实现数据应用的服务化，挖掘数据价值。

1数据中台设计

数据中台的目的在于为各个系统提供数据共享和数据分析。以数据资产管理为基础，沉淀数据通用能力，通过对数据进行采集、加工、存储、共享以满足不同

84 2020/02/DTPT

专业间、不同领域之间的数据共享、数据挖掘、数据分析的需求。数据中台架构如图1所示。

数据展示平台

RestAPI

数据标准管理是数据加工的基础，规定了数据中台中所有数据的统一格式、统一标准和唯一ID等数据规范，主要包括数据模型管理、主数据管理、元数据管理、数据的质量、价值、安全管理。

传统智慧城市系统的单个业务领域都独立进行并

数据MySQL，MongoDB，Oracle，共享SQLServer，PostgreSQL…

数据共享

数据标准管理

数据共享API

数据转换

自行管理数据，对于同一份原始数据每一个业务都有不同的定义，命名、标识都不尽相同，标准混乱给统一管理业务带来了极大的困难。主数据管理和元数据管

数据数据模型管理数据价值管理数据 数据

加工 日智

志能

理致力于构建数据源标准化数据，对每一个元数据进

加工主数据管理数据安全管理缓存

元数据管理数据质量管控

存储

数据分析管城

及算法模型理市

数

行定义，使数据中台抽取到的数据有统一的规范标准。

以智慧城市为例，数据主要来自于楼控系统、楼宇

定时任务管理：Quartz

数据 定时采集

抽取

对应数据库，定期同步

定时增量/全量抽取

据 能源系统、园区环境监测系统，数据又分为用户数据、

中

台 经济数据、环境数据、能耗数据等。不同业务系统之间

关注的数据整体关联但又相互独立。因此需要借助数据模型管理对数据分层分类，建立统一的数据管理规

数据库：MySQL，MongoDB，Oracle，

SQLServer，PostgreSQL…

异构系统

数据采文件（图集API片、视频、

文档等）

则从中挖掘更多的数据价值。

2.2.2数据转换

数据转换模块作用是将抽取来的数据进行加工，

图1数据中台技术架构

2构建数据中台的关键模块

2.1数据抽取

数据抽取模块是数据中台的第一步，主要为API数据接入、数据库数据接入、文件（图片、视频、文档）等。其抽取模式主要分为全量抽取和增量抽取，全量抽取是每次都将所有数据全部接入到数据中台中，而增量抽取只接入数据中台中没有的部分数据，增量抽取数据量更小，性能更好。

增量数据抽取模式主要有基于触发器的增量数据抽取、基于日志文件的增量数据抽取、基于时间戳的增量数据抽取和基于全文比对的增量数据抽取，其优缺点如表1所示。

2.2数据加工

2.2.1数据标准管理

使之符合数据标准的规定。主要使用计算列、合并列、行转列、列转行、SQL筛选等一种或者多种操作，进行数据转换加工。同时，也可以使用算法模型进行数据的复杂分析，从而得到期望的数据。

2.3数据共享

将中台内部整理完成的数据，通过通用服务能力进行共享与交换。为各应用系统访问业务数据提供统一接口支持和策略支持。负责接收应用系统的数据请求，按照请求内容读取数据，然后发送给请求数据的应用系统。

3数据中台实施

智慧城市的建设涉及到众多系统整合，亟需数据中台将零散的信息化系统规范和统一起来。以智能楼宇为例，其涉及系统有智慧停车、会议室管理、空间管理、能源管理、门禁系统、烟感系统、安防管理等众多系

表1不同增量数据抽取的对比

项目

基于触发器的增量数据抽取

基于日志文件的增量数据抽取

基于时间戳的增量数据抽取

基于全文比对的增量数据抽取

定义

业务数据库中建立触发器，并由触发器将变化的数据写入临时表中从临时表中读取数据，实现增量数据抽取

使用