电信网和互联网数据溯源技术规范.docx

电信网和互联网数据溯源技术规范

1范围

本文件规定了电信网和互联网数据溯源的技术要求与测试方法。

本文件适用于指导电信网和互联网开展数据溯源能力建设及管理，也适用于监管部门第三方机构等组织对数据溯源能力进行监督和评估。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。

GB/T34945—2017信息技术数据湖源描述模型

3术语和定义

GB/T34945—2017界定的以及下列术语和定义适用于本文件。

3.1

数据溯源dataprovenance

根据数据在整个生存周期内(从产生、传播到消亡)的演变信息和演变处理内容的记录推演数据演变情况的过程。

[来源：GB/T34945—2017,定义2.1,有修改]

3.2

溯源信息proveranceinformation

推演数据演变情况所依据的演变信息和演变处理内容的记录。

4缩略语

下列缩略语适用于本文件。

IP

ETLSQL

5概述

5.1数据溯源类型

网络互联协议

抽取、转换、加载结构化查询语言

lnternetProtocol

Exirct-Trinsform-Load

StructunelQueryLanguage

按照回溯目标不同，数据溯源通常分为数据衍生关系溯源和数据流转路径溯源

5.2数据衍生关系溯源

数据衍生关系溯源是根据数据在整个生存周期内(从产生、传播到消亡)的演变信息和演变处理内容的记录，推演数据衍生关系的过程。产生数据衍生关系的操作包括数据表的建立、修改等，涉及到数据的收集、存储、使用、加工、提供、删除等活动

推演数据衍生关系一般可通过分析日志记录等方式开展。

5.3数据流转路径溯源

数据流转路径溯源是根据数据在不同系统间，或在同一系统的不同节点之间流转过程的记录，推演数据演变情况的过程。产生数据流转路径的操作包括系统节点间的数据访问、系统间的数据访问等。

推演数据流转路径一般可通过分析日志记录的方式开展，适用于组织机构内部。当数据离开组织机构内部进行流转时，外部日志记录难以获取，则需要通过数据水印、文档指纹等技术完成数据路径溯源。

不同场景下的数据溯源技术实现方式见附录A。

6数据衍生关系溯源

6.1溯源对象

数据衍生关系溯源的溯源对象可以为表名、字段名等元数据，不包含数据内容。

6.2溯源流程

数据衍生关系溯源在开展数据收集、数据存储、数据使用、数据加工、数据传输、数据提供、数据公开等数据处理活动的同时，同步记录并更新溯源信息。针对待溯源的数据，按

需获取、分析相应的溯源信息，推演数据衍生关系并进行展示，具体过程示例见图1。

需获取、分析相应的溯源信息，推演数据衍生关系并进行展示，具体过程示例见图1。

数招处理话动

据收基

数据存

数面他用

数据工

数据传

数据提供

数据公开

记录更新测源信息

记录更新调源信息

记录/更新测源信息

记录便新调源信息

记录/更新阅源信息

记录便章滴源信息

记录使新南源信息

监据而生爱鼎阅源

数生关系

特测的数据

分析源信息

图1数据衍生关系额海流程

6.3溯源信息记录要求

溯源信息由“数据-活动-执行实体”三个基本构件组成，数据包括“数据集”和“参数”子类；活动指生成数据、使用数据或触发其他活动的动作；执行实体包括“人类执行实体”和“非人类执行实体”,各构件及子类之间关系参考GB/T34945—2017第三章的相关描述。

记录测源信息过程中每个构件内容应包括：

a)数据构件应包括但不限于数据库名称、数据表名称、数据字段名、字段类型，存

储位置，数据表的创建时间、创建账号、创建时使用的参考数据表、来源数据表：

b)活动构件应包括但不限于：对数据集的操作名称(如创建、复制、修改、删除)、

操作时间、操作涉及的其他数据集等；

c)执行实体构件应包括但不限于：操作账号或操作人、操作接口。

6.4湖源信息管理要求

6.4.1湖源信息获取

溯源信息获取应满足以下要求：

a)溯源信息获取应支持自动化获取和手动生成两种方式：

b)自动化数据源信息获取可通过提取访问SQL语句、解析数据ETL任务、日志分析等方式中的任意一种或多种实现，溯源信息的获取过程应保持对业务透明，不应影响业务对数据的正常访问、使用：

c)当数据发生修改时，更新溯源记录

6.4.2溯源信息存储

溯源信息存储应满足以下要求；

a)溯源信息应单独存储，不影响原始