DB23_T 3304-2022 大数据平台数据接入规范.docx

1

ICS35.020CCSL70

DB23

黑龙江省地方标准

DB23/T3304—2022

大数据平台数据接入规范

2022-07-07发布2022-08-06实施

黑龙江省市场监督管理局发布

I

目次

前言 II

1范围 1

2规范性引用文件 1

3术语和定义 1

3.1数据接入 1

3.2数据采集 1

3.3全量采集模式 1

3.4增量采集模式 1

3.5轮询采集模式 1

4缩略语 1

5总体框架 2

5.1总体框架描述 2

5.2数据源的接入和采集方式 3

6接入要求 3

6.1关系数据库抽取 3

6.2数据库实时复制 4

6.3网关服务 5

6.4消息队列 6

6.5文件接收FTP服务 8

6.6文件拉取FTP服务 9

6.7文件HTTP服务 11

6.8文件NFS服务 13

附录A（资料性）关系数据库抽取接入说明 16

附录B（资料性）网关服务接入说明 17

附录C（资料性）消息队列接入说明 18

附录D（资料性）文件接收FTP服务接入说明 20

附录E（资料性）文件拉取FTP服务接入说明 24

附录F（资料性）文件HTTP服务接入说明 27

附录G（资料性）文件NFS服务接入说明 31

II

前言

本文件依据GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起

草。

请注意本文件的某些内容可能涉及专利，本文件的发布机构不承担识别专利的责任。本文件由黑龙江省大数据产业协会提出。

本文件由黑龙江省工业和信息化厅归口。

本文件起草单位：黑龙江省大数据产业协会、哈尔滨财富通科技发展有限公司、黑龙江亿林网络股份有限公司、黑龙江省网络空间研究中心、黑龙江省标准化研究院、黑河市特种设备检验研究所、黑龙江大数据产业发展有限公司、黑龙江省信创科技有限公司、黑龙江交投信科科技有限责任公司、黑龙江交投千方科技有限公司、哈尔滨智路开发有限公司、黑龙江农投大数据公司、黑龙江省农投云产业有限公司。

本文件主要起草人：李璐昆、孙传友、杜飞、孙甲子、张驰、王阳、陈要武、杨大志、吕猛、王磊、唐丽、赵海洋、李冰冷、叶爽、王克云、李森、周全、何晨龙、叶爽、张新、关哲刚、杨旭、王晶。

DB23/T3304-2022

1

大数据平台数据接入规范

1范围

本文件规定了大数据平台数据接入规范的术语和定义，缩略语、总体框架和接入要求。

本文件适用于黑龙江省内大数据平台进行数据采集功能研发、数据采集工具选型及其数据接入场景提供规范要求。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T29262信息技术面向服务的体系结构（SOA）术语

GB/T35274信息安全技术大数据服务安全能力要求

GB/T35295信息技术大数据术语

GB/T37973信息安全技术大数据安全管理指南

3术语和定义

GB/T29262、GB/T35295和GB/T35274界定的以及下列术语和定义适用于本文件。

3.1

数据接入

将数据传输进入数据平台所采用的形式。

3.2

数据采集

将数据收集进入数据平台所采用的形式。

3.3

全量采集模式

是指一次性将关系数据库中物理表的数据抽取到大数据平台。

3.4

增量采集模式

是指根据设置的抽取条件筛选符合条件的数据抽取到大数据平台。

3.5

DB23/T3304-2022

2

轮询采集模式

轮询采集模式是增量采集模式的一种。

4缩略语

下列缩略语适用于本文件。

DTS:数据传输服务(DataTransferService)。

ETL:将数据从来源端经过抽取、转换、加载至目的端的过程(Extract-Transform-Load)。FTP：文件传输协议（FileTransferProtocol）。

HTTP:标准的超文件传输协议（HyperTextTr