融合图神经网络的多模态微视频推荐算法.pdfVIP

小型微型计算机系统2025年4月第4期

DOI:10.20009/ki.21-1106/TP.2023-0616

JournalofChineseComputerSystemsVol.46No.42025

融合图神经网络的多模态微视频推荐算法

王子文，游进国，胡荣笙，贾连印

（昆明理工大学信息工程与自动化学院，昆明650500）

E-mail:jgyou@126.com

摘要：现有多模态图神经网络推荐算法在进行多模态融合时，普遍使用图神经网络提取的节点特征进行融合，而未考虑到全

局图结构信息和模态信息对融合的影响；并且现有的多模态融合方法大多只考虑模态间的差异，而忽视了模态内部的情况，对

此，本文提出一种融合图神经网络的多模态微视频推荐算法（MCCF,Multi-modalContrast-ConflictFusion）.该算法利用一种感

知模态信息的注意力机制，将节点级特征转化为表征不同模态的图级特征；同时，分别使用节点级和图级特征表示，计算模态内

“对比性”和模态间“冲突性”，客观评价了不同模态的重要性，实现了多模态融合.在Movielens和Tiktok两个微视频公开数据

集上进行的实验表明，本文提出的算法在推荐性能上较基线方法有明显提升.

关键词：多模态推荐系统；多模态融合；图卷积神经网络；对比冲突融合

中图分类号：TP391文献标识码：A文章编号：1000-1220(2025)04-0825-08

MultimodalFusionAlgorithmforGraphNeuralNetworkMicro-videoRecommendation

WANGZiwen,YOUJinguo,HURongsheng,JIALianyin

(FacultyofInformationEngineeringandAutomation,KunmingUniversityofScienceandTechnology,Kunming650500,China)

Abstract:Theexistingmultimodalgraphneuralnetwork(GNN)recommendationalgorithmscommonlyfusemulti-modalitiesbyusing

thenodefeaturesextractedfromGNN,withoutconsideringtheimpactofglobalgraphstructureinformationandmodalityinformation

onthefusionprocess.Moreover,mostexistingmultimodalfusionmethodsonlyconsiderthedifferencesbetweenmodalitieswhileneg-

lectingtheintra-characteristicswithineachmodality.Toaddresstheseissues,thispaperproposesaMultimodalContrast-ConflictFu-

sion(MCCF)algorithmforGNNmicro-videorecommendation.Thealgorithmemploysanattentionmechanismthatperceivesmodality

informationtotransformnode-levelfeaturesintograph-levelfeaturesrepresentingdifferentmodalities.Italsoutilizesnode-levelfea-

turesandgraph-levelfeatures,respectively,tocalculatetheContrastwithinthemodalitiesandtheConflictbetweenthe