YDT 3761-2020 大数据 数据集成工具技术要求与测试方法.pdf

ICS 35.110 M11 YD 中 华 人 民 共 和 国 通 信 行 业 标 准 YD/T 3761—2020 大数据 数据集成工具技术要求与测试 方法 Big data - technical specification and test methods on data integration tool 中华人民共和国工业和信息化部 发 布 YD/T 3761—2020 目 次 前言 错误!未定义书签。 1 范围 3 2 术语定义及缩略语 3 2.1 术语定义 3 2.2 缩略语 3 3 总体要求 4 3.1 参考架构 4 3.2 功能要求 4 4 技术要求 5 4.1 数据源 5 4.2 数据清洗/转换 5 4.3 作业管理 5 4.4 运维管理 6 4.5 安全保障 6 5 测试方法 6 5.1 数据源配置 6 5.2 数据清洗/转换 7 5.3 目标源 11 5.4 作业管理 11 5.5 运维管理 13 5.6 安全保障 14 I YD/T 3761—2020 前 言 II YD/T 3761—2020 大数据 数据集成工具技术要求与测试方法 1 范围 本标准规定了用于对大数据数据集成工具应具有的技术要求及相关的测试方法。 本标准适用于大数据数据集成工具产品的研发、测试、评估和验收、科学大数据系统的测试等。 2 术语定义及缩略语 2.1 术语定义 下列定义及术语适应与本标准 2.1.1 数据集成工具 data integration tool 能够提供数据抽取、数据清洗/转换、数据加载等功能的工具。 2.1.2 数据抽取 data extraction 从不同的数据源读取数据的过程。 2.1.3 分布式文件系统 distributed file system 数据挖掘平台是集成了常见数据挖掘应用场景以及技术组件的平台化产品，从而使业务人员能够 便捷创建数据挖掘业务。 2.1.4 数据转换/化 data transfer 将不一致的数据标准化（即不同业务系统的相同类型的数据统一），或按业务需求的数据粒度进 行数据聚合，或按一定的业务规则进行计算。 2.1.5 作业 job 一次程序整体执行，完成操作者的指令的过程。 2.1.6 数据流 data stream 一组有序，有起点和终点的字节的数据序列，包括输入流和输出流 2.2 缩略语 下列缩略语适用于本标准。 CSV 逗号分隔值 Comma-Separated Values