人工智能大模型知识库建设数据组织要求.pdfVIP

T/CECCXX—2025

附录A

（规范性）

数据组织要求

A.1基础数据采集

基础数据的组织应符合下列规定：

a)文本类数据应以结构化或半结构化格式存储，非结构化文本应通过元数据标注其来源、语言、

领域等属性；

b)多源异构数据应建立统一的编码体系，确保数据标识的唯一性；

c)原始数据应保留版本信息，并建立与清洗后数据的映射关系。

A.2标注数据

A.2.1标注数据宜按以下层级分层组织：

a)实体标注层：存储命名实体识别（NER）、关系抽取（RE）等结构化结果；

b)语义标注层：存储文本分类、情感分析、意图识别等标签；

c)质量验证层：存储人工校验记录及置信度评分。

A.2.2标注数据应与原始数据建立双向索引，确保可追溯性。

A.3多模态数据

A.3.1多模态数据可采用以下数据存储方式：

a)图像数据宜采用通用格式（如JPEG、PNG），并存储分辨率、色彩空间等元数据；

b)音频数据应以标准化采样率存储，并标注时长、语种及说话人信息；

c)视频数据应分帧存储关键帧索引，并建立时间轴对齐的文本描述。

A.3.2不同模态数据应通过统一标识符关联，例如：

a)文本描述与对应图像的区域坐标；

b)语音片段与转录文本的时间戳对齐。

A.4知识图谱数据

A.4.1实体与关系

a)实体节点应按类型（如人物、地点、事件）分层存储，并建立唯一URI；

b)关系数据应以三元组形式存储，并标注来源和时效性。

A.4.2图数据库要求

知识图谱数据宜采用图数据库存储，并满足：

a)支持SPARQL查询；

b)建立属性图索引以优化遍历性能。

A.5增量更新数据

a)增量数据应记录变更时间、操作类型（新增/修改/删除）及版本号；

18

T/CECCXX—2025

b)历史版本数据应独立存储，支持版本回溯与差异对比。

A.6安全与合规数据

a)敏感数据应加密存储，加密算法应符合国家密码管理局核准的商用密码标准，个人敏感信息

的加密存储还应满足GB/T35273中6.3条款的要求，并记录脱敏规则与访问权限；

b)数据来源合规性文件（如版权协议、用户授权）应与原始数据关联存储。

c)个人生物识别信息的存储应符合GB/T35273中6.3要求，原则上不应存储原始样本，确需存

储时应单独加密且与个人身份信息分开存储。

A.7元数据

采用一体化元数据模型，包含以下核心字段：

a)据标识符、类型、格式；

b)集时间、更新周期、质量评分；

c)安全等级、使用约束。

19