CN119557630B 一种基于ai训练平台的多模态数据增强方法和系统 （山东浪潮科学研究院有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN119557630B(45)授权公告日2025.07.08

(21)申请号202510121495.1

(22)申请日2025.01.26

(65)同一申请的已公布的文献号申请公布号CN119557630A

(43)申请公布日2025.03.04

(73)专利权人山东浪潮科学研究院有限公司地址250000山东省济南市高新区浪潮路

1036号SO2号楼

(72)发明人张晨魏子重

GO6N3/0455(2023.01)

GO6N3/0475(2023.01)GO6N3/094(2023.01)

GO6N3/0442(2023.01)GO6F18/25(2023.01)

GO6F18/10(2023.01)

(56)对比文件

CN119130268A,2024.12.13CN118606715A,2024.09.06审查员张罗

(74)专利代理机构济南信达专利事务所有限公

司37100专利代理师陈婷婷

(51)Int.CI.

GO6F18/213(2023.01)

GO6N3/0464(2023.01)权利要求书3页说明书10页附图2页

(54)发明名称

一种基于AI训练平台的多模态数据增强方法和系统

(57)摘要

CN119557630B本发明公开了一种基于AI训练平台的多模态数据增强方法和系统，属于多模态数据处理技术领域，该方法的实现包括：首先，在AI训练平台上开发多模态数据融合管道，通过数据采集模块收集不同模态的数据进行预处理；在预处理阶段，利用多模态数据融合管道对来自不同模态的数据进行特征提取，并在特定层次进行联合建模；然后，采用数据增强管道自动生成高质量的合成数据；最后，开发多模态深度学习管道，以充分学习和理解不同模态数据的深层次特征。本发明解决现有技术中因单一模态数据导致模型学习偏向性的问题，提高了模型的泛化能力和数据处理效率，同时为AI

CN119557630B

CN119557630B权利要求书1/3页

2

1.一种基于AI训练平台的多模态数据增强方法，其特征在于，该方法的实现包括：

首先，在AI训练平台上开发多模态数据融合管道，通过数据采集模块收集不同模态的数据，并进行预处理；在预处理阶段，利用多模态数据融合管道对来自不同模态的数据进行特征提取，并在特定层次进行联合建模；

然后，采用数据增强管道自动生成高质量的合成数据；

最后，开发多模态深度学习管道，以充分学习和理解不同模态数据的深层次特征；

所述多模态数据融合管道，对从不同数据源中采集的多模态数据进行标准化处理，包

括：

对图像数据：进行缩放和归一化，支持两种归一化方式：第一是将图像像素值从0-255的范围调整为0-1;第二是按特定均值和标准差进行归一化，使用ImageNet数据集的标准化值：均值[0.485,0.456,0.406],标准差[0.229,0.224,0.225];

对文本数据：进行分词和编码，使用自然语言处理工具库进行分词，使用BERT、Word2Vec模型将分词后的文本转换为词嵌入向量；

对时间序列数据：进行插值、对齐处理，保证所有数据能够在同一时间轴或同一维度下进行分析；

时序同步与对齐，具体实现如下：

将整个时间序列切片成多个时间段，每个时间段包含多个模态的数据，且可通过插值填补缺失的时刻点；

数据特征提取，具体包括：

图像数据特征提取：使用预训练的卷积神经网络ResNet模型从图像中提取高级特征；在卷积层后，使用全局平均池化，将特征图转换为固定长度的特征向量，进一步用于多模态

融合；

文本数据特征提取：使用预训练的语言模型Transformer对文本数据进行编码，提取文本的语义特征向量；然后，将每个分词后的单词或子词转换为固定长度的向量，输出的特征向量可表示文本中的上下文关系和语义信息；

传感器数据特征提取：使用循环神经网络提取传感器数据中的时间序列特征；

所述数据增强管道，通过生成对抗网络生成模型，利用现有的多模态数据生成新的样本：

训练GAN模型，采用现有的多模态数据作为输入；生成器生成新的样本，而判别器评估生成样本的真实性；通过不