CN120277619A 一种海量多源多模态数据融合方法 （杭州码全信息科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120277619A(43)申请公布日2025.07.08

(21)申请号202510759252.0

(22)申请日2025.06.09

(71)申请人杭州码全信息科技有限公司

地址311100浙江省杭州市临平区南苑街

道余之城3幢13层

(72)发明人闫鑫怡俞健陈子豪马汉杰许永恩

(74)专利代理机构杭州天勤知识产权代理有限公司33224

专利代理师王琛

(51)Int.CI.

GO6F18/25(2023.01)

GO6N3/045(2023.01)

GO6N3/096(2023.01)

GO6N3/084(2023.01)

权利要求书2页说明书13页附图1页

(54)发明名称

一种海量多源多模态数据融合方法

(57)摘要

CN120277619A本发明公开了一种海量多源多模态数据融合方法，其针对来自不同源头的多种类型数据进行高效融合与处理的技术，实现多源多模态数据的有效整合、利用及无缝集成，提升数据分析的广度和深度。本发明中提出一种基于深度学习的多模态特征提取与融合模型，能够自动学习并提取各模态数据的深层特征，并在模型内部进行高效融合。此外，本发明引入数据质量评估与自适应调整机制，根据数据的质量和分布情况，动态调整数据融合过程中的参数和策略，以确保融合结果的稳定性和可靠性，可广泛应用于大数据分

CN120277619A

000

000O00

Vit模型

o00

Transformer架构

图像文本声音

得到海量

多模态数据的有效巢谷的结

数据清理

标准化归一化

息磨

授篷客

数据准备数据预处理特征提取多模态特征融合特征识别

CN120277619A权利要求书1/2页

2

1.一种海量多源多模态数据融合方法，其特征在于，包括如下步骤：

(1)获取多源且包含丰富多模态信息的海量数据集，并对其中的数据进行预处理；

(2)构建多模态融合模型，包括：

视觉处理模块，基于ViT模型对图像数据进行视觉特征提取；

文本处理模块，基于BERT模型对文本数据进行语义特征提取；

声音处理模块，基于预训练的HuBERT模型对音频数据进行声音特征提取；

多模态融合模块，在JointArchitecture框架下对提取得到的视觉特征、语义特征以及声音特征进行融合；

(3)对预处理后的海量数据集进行数据增强，并利用该数据集对多模态融合模型进行

训练；

(4)利用训练好的多模态融合模型所生成的融合特征完成相应的应用场景任务。

2.根据权利要求1所述的一种海量多源多模态数据融合方法，其特征在于：所述步骤(1)中对数据进行预处理包括数据整合、数据清洗以及标准化，对于文本数据，数据清洗包括缺失值填充、异常值修正、去除停用词以及重复项在内的处理；对于音频数据，数据清洗包括去噪处理；对于图像数据，数据清洗除了去噪还包括图像裁剪、缩放、旋转在内的处理；对于图像数据和音频数据，标准化采用最小-最大归一化处理；对于文本数据，标准化采用词嵌入方法将文本中的词汇转换为固定维度的向量表示。

3.根据权利要求1所述的一种海量多源多模态数据融合方法，其特征在于：所述视觉处理模块首先将输入图像调整到ViT模型所需的固定尺寸，然后将调整后的图像分割成一系列固定大小的小块，每个小块被展平成一个向量作为序列中的一个token,这些token不仅包含了图像的颜色和纹理信息，还通过在序列中的位置保留了空间关系的信息；进而添加一个特殊的分类token在序列的开始位置，同时在序列的末尾添加位置编码或位置嵌入；将上述处理后的token序列输入至由多个编码器层级联的Transformer编码器中，每个编码器层包含自注意力机制和前馈神经网络，自注意力机制在处理每个token时，能够考虑到序列中其他所有token的信息，从而捕捉到图像中复杂的空间依赖关系；前馈神经网络则进一步对自注意力机制的输出进行非线性变换，以增强ViT模型的表达能力；经过Transformer编码器处理后的输出为一个高维的特征向量，该向量编码了输入图像的关键视觉信息。

4.根据权利要求1所述的一种海量多源多模态数据融合方法，其特征在于：所述文本处理模块首先采用WordPiece算法对文本进行分词得到to