数据中台之数据加工处理解决方案.pdf

数据加工处理

数据加工实现方法

数据加工是将源端采集的各个委办局数据加工为可进行数据开放的数据，

对加工过程中的错误数据、冗余数据进行问题追溯、对加工过程中的数据质量问

题进行管理，保证数据加工的可视化、保证数据质量的准确化。

数据加工处理，是整个数据应用的前置环节，其结果质量直接关系到模型

效果和最终结论。在实际操作中，加工处理的方式包括：

1、数据生产计划：数据需求和数据处理设计的子模块，主要功

能为：数据的语义化、加工能力的组件化，负责衔接业务和技术，是信

息的枢纽，也是知识库的坚实基础。

2、数据生产执行：执行数据处理的子模块，融合了库外ETL、

库内数据加工、元数据管理、数据质量检查、调度管理等孤立系统的必

要功能，负责数据生产计划的执行、数据的生产和数据质量控制等工作。

3、数据生产管理：数据处理日常监控和综合管理的子模块，负

责数据处理和数据规范的管控。

数据加工实现

数据加工效果评估

数据准确是数据共享开放的前提，一方面要求业务需求和技术实现的一致性，

另外一方面要求数据加工生产过程正确性，在数据治理过程中通过事前设计、事

中管控、事后稽核的方式确保数据输出的质量正确。

1、事前设计

数据加工前期，需要对数据加工过程进行详细的设计，对数据加工的方法，

数据的详细字段，数据的语义语法、存储方法、存储位置、分层规则、命名规则、

标准规则、存储规则等进行详细的设计、论证、验证。数据加工处理时，严格按

照前期的设计进行。

2、事中控制

数据加工在处理过程中，可以通过一定的方法来保证数据加工处理的过程

严格按照预先设计的规则、方法进行，以保证数据加工处理的过程不出现问题，

从而保证数据的最终质量。方法包括但不限于：

（1）目标表加工逻辑的可视化：将处理逻辑可视化展示在平台上，且管理

的处理逻辑和生产的处理逻辑一致，则可支撑业务需求和技术实现一致性复查。

（2）目标表加工链路的可视化：将目标表的加工链路可视化进行管理，通

过调度图（血缘图）可了解整个目标表的生成过程，则可支撑业务流程和技术实

现流程一致性人工复查。

（3）由平台保证开发人员按照指定的要求进行开发，统一建模标准，降低

理解门槛。

3、事后评估

数据加工处理完成后，需要对数据的质量进行评估，通过一定的测试方法，

来验证数据处理的质量。形成整体评估报告，以确定数据处理的质量，如数据质

量达不到要求，需要重新审视整个加工处理过程，包括前期的设计，找出问题所

在，优化处理方案，进行重新加工，直至数据质量达到要求。

数据质量评估包括但不限于以下内容：

对模型字段进行检查校验，对各层模型数据引用规范进行检查，对各层模

型元素命名规则进行检查，对模型表字段进行检查校验，对数据存储规范进行检

验等。

数据加工后存储与交互

数据加工平台的数据分为操作数据、元数据、血缘、调度数据，数据加工平

台的数据关系如下：

数据加工平台数据存储与交互

数据加工平台和外围系统的数据交互需统一由对外服务模块提供，和基础平

台的交互由数据加工平台应用直接交互。

由应用服务提供实时API接口给对外服务模块，由对外服务模块封装为API

服务、数据文件服务和外围系统交互。其中元数据和血缘同步给数据资源管理平

台，操作数据同步给安全平台。