2025大数据分析软件平台研发标准.docx

大数据分析软件平台研发标准

2024

目 次

范围……………1

规范性引用文件 1

定义和术语 1

缩略语 2

大数据系统框架 3

数据分类 3

1分类过程 3

分类视角及维度 4

接口要求 7

1概述……………………7

总体要求 7

功能要求 7

数据收集模块 7

数据预处理模块 8

数据存储模块 8

数据处理模块 9

数据分析模块 10

数据可视化模块 11

数据访问模块 11

资源管理模块 11

系统管理模块 12

非功能要求 12

可靠性要求 12

兼容性要求 13

安全性要求 13

可扩展性要求 14

维护性要求 14

易用性要求 14

I

功能测试?求 14

分析支撑模块功能测试 15

数据分析模块功能测试 17

系统运维和管理要求 19

安装部署 19

配置管理 20

租户管理 20

监控告警管理 21

11.5日志管理 21

Ⅱ

Ⅲ

大数据分析平台研发标准

范围

本标准规定了大数据分析平台研发过程中的设计、开发、测试、运维等要求。

规范性引用文件

下列文件中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用文件，其随后所有的修改单(不包括勘误的内容)或修订版均不适用于本标准。凡是不注日期的引用文件，其最新版本适用于本标准。

GB/T1.1-2020标准化工作导则第1部分：标准化文件的结构和起草规则

GB/T1.2-2020标准化工作导则第2部分：以ISO/IEC标准化文件为基础的标准化文件起草规则

GB/T35295-2017信息技术大数据术语

GB/T38667-2020信息技术大数据数据分类指南

GB/T38672-2020信息技术大数据接口基本要求

GB/T38673-2020信息技术大数据大数据系统基本要求

定义和术语

下列术语和定义适用于本标准。

3.1

大数据big;data

具有体量巨大、来源多样、生成极快、且多变等特征并且难以用传统数据体系结

构有效处理的包含大量数据集的数据。

注：国际上，大数据的4个特征普遍不加修饰地直接用volume、variety、velocity和variability

予以表述，并分别赋予了它们在大数据语境下的定义：

体?volume:构成大数据的数据集的规模。

多样性varicty:数据可能来自多个数据仓库、数据领域或多种数据类型。

速度velocity:单位时间的数据流量。

多变性variability:大数据其他特征，即体量、速度和多样性等特征都处于多变状态。

3.2

大数据参考体系结构big?dataieferencearchitecture

一种用作工具以便于对大数据内在的要求、设计结构和运行进行开放性探讨的高

层概念模型。

注：比较普遍认同的大数据参考体系结构一般包含系统协调者、数据提供者、大数据应用提

供者、大数据框架提供者和数据消费者等5个逻辑功能构件。

3.3

大数据分析平台bigdataanalysisíplatform

实现大数据参考体系结构的全部或部分功能的平台。

3.4

大数据分类bigdata,classification

根据大数据的属性或特征，将其按一定的原则和方法进行区分和归类，并建立起

一定的分类体系和排列顺序的过程。

3.5

数据分发datadistribute

将原始数据、处理数据、分析结果等形式的数据传递给内部或外部实体的过程。

注：数据分发包括线上或线下等多种方式，如数据交换、数据交易、数据共享、数据公开等。

3.6

租户tenant

对一组物理和虚拟资源进行共享访问的一个或多个云服务用户。

缩略语

下列缩略语适用于本文件。

API:应用程序接口(ApplicationProgarmming;Inter?ace)

CPU:中央处理器(CentralProcessing;Unit)GPU:图形处理器(Graphics.ProcessingUnit)DAG:有向无环图(DirectedAcyclicGraph)

OLAP:联机分析处理(On-LineAnalyticalProcessing)

REST:表述性状态转移(RepresentationalStateTransfer)

2

JSON:JS对象标记(JavaScriptObjectNotation)SSD:固态硬盘(Solid,Sta