CN115526236B 一种基于多模态对比学习的文本网络图分类方法 （浙江大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115526236B(45)授权公告日2025.07.11

(21)申请号202211065236.4

(22)申请日2022.09.01

(65)同一申请的已公布的文献号申请公布号CN115526236A

(43)申请公布日2022.12.27

GO6F18/214(2023.01)

GO6F18/22(2023.01)

GO6N3/042(2023.01)

GO6N3/0455(2023.01)

GO6N3/0895(2023.01)GO6F40/284(2020.01)

(73)专利权人浙江大学

地址310058浙江省杭州市西湖区余杭塘

路866号

(72)发明人蒋卓人言鹏韦林田谦谨黄萃

(74)专利代理机构杭州求是专利事务所有限公

司33200

专利代理师傅朝栋张法高

(56)对比文件

蒋卓人等.基于可解释图神经网络模型的社交媒体谣言识别研究.《情报学报》.2023,第42卷(第11期),全文.

审查员何珠

(51)Int.CI.

GO6F18/241(2023.01)

GO6F18/25(2023.01)权利要求书3页说明书8页附图1页

(54)发明名称

一种基于多模态对比学习的文本网络图分类方法

(57)摘要

CN115526236B本发明公开了一种基于多模态对比学习的文本网络图分类方法，其步骤如下：1)对文本网络图数据的拓扑结构与节点信息中文本模态的数据进行抽取、归类和预处理；2)根据数据的不同模态选择相应编码器，采用对比学习分别对编码器进行训练，并基于训练完成的编码器对数据进行特征编码得到特征向量；3)计算结构特征向量和文本特征向量的笛卡尔积从而获取不同模态间的共同特征；4)采用注意力机制对不同模态的原始特征及共同特征进行加权汇总，并作为图级别特征输入分类器得出分类标签。本方法提高了不同模态特征的表现，有利于增强图级别分类任务的表现，不仅分类准确率高且具备可解释

CN115526236B

S3

S4

对网络图数据的拓扑结构与节点信息中的文本数据进行抽取，并按数据模

对网络图数据的拓扑结构与节点信息中的文本数据进行抽取，并按数据模态进行归类，以字典格式保存数据唯一标识、模态类型与具体数据信息，并根据数据模态类型进行预处理；

对图拓扑结构及节点信息中的文本模态数据进行编码；根据数据的不同模态选择相应编码器，采用对比学习框架分别对编码器进行训练，并基于训练完成的编码器对数据进行特征编码得到特征向量，从而得到图数据在不同模态下的特征表示；

对不同模态的特征向量两两计算笛卡尔积，并对基于笛卡尔积得到的特征矩阵做横向及纵向的最大池化，从而实现对跨模态共同特征的提取；

对不同模态的原始特征及共同特征作标准化，然后采用注意力机制对不同模态的原始特征及共同特征计算权重；根据此注意力权重对特征进行加权。拼接后作为最终的图级别特征，最终输入分类器得出分类标签。

CN115526236B权利要求书1/3页

2

1.一种基于多模态对比学习的文本网络图分类方法，其特征在于，步骤如下：

S1:针对待分类的多模态网络图数据集中的每一个文本网络图数据，分别对图中的拓扑结构以及节点中的文本这两种模态数据进行抽取，抽取得到的数据按模态进行归类后以字典格式保存；再对每一种模态数据进行预处理使其满足对应模态的编码器输入要求；

S2:针对拓扑结构模态和文本模态分别选择匹配的编码器并采用对比学习框架分别进行训练；基于训练完成的编码器，对S1中预处理后的每一种模态数据进行特征编码，得到每一个文本网络图数据中每一种模态数据的特征向量，从而得到文本网络图数据在不同模态下的特征表示；

S3:针对每一个文本网络图数据，将对应的两种模态数据的特征向量对齐至统一维度后，通过计算两者的笛卡尔积得到特征交叉矩阵，对特征交叉矩阵做横向的最大池化得到第一特征向量，对特征交叉矩阵做纵向的最大池化得到第二特征向量，将第一特征向量和第二特征向量拼接后重新降维至所述统一维度，从而得到跨模态共同特征向量；

S4:针对每一个文本网络图数据，将两种模态数据的特征向量以及跨模态共同特征向量进行标准化，然后采用注意力机制对三个特征向量计