基于多模态融合与图神经网络的用户精准感知系统研究.pdfVIP

基于多模态融合与图神经网络的

用户精准感知系统研究

存在着图结构的数据，例如社会科学中的社交网络、

0前言

电子商务领域中的商品与用户关系、通信网络的拓扑

近年来人工智能技术的发展影响到了企业与个结构等，为了充分挖掘这些图结构数据的特征，图神

人的方方面面，深度学习技术作为人工智能技术的一经网络技术被提出，并在很多行业表现出巨大的发展

个分支发展尤为迅速，并且在文本、语音、图像等数据潜力。

上已经取得了很大的成功。目前，将语音、图像、文本通信运营商具备海量的网络与业务数据，其中运

等多种类型的数据进行多模态融合，服务于具体的业营商的网络拓扑结构、人机物交互拓扑、用户社交关

务场景是人工智能的一个重要发展方向。系等都是能够以图结构表示的数据，具有应用图神经

除了图像、文本、语音等数据外，许多行业领域还网络技术的天然优势。另外，运营商在开展业务中存

——————————储了大量的语音、文本、图像等数据，具备进行多模态

收稿日期：2023-05-06融合的基础。人工智能领域的图神经网络算法结合

302023/06/DTPT

多模态数据（文本、语音、图像等）在复杂场景下表现卷积的研究转向了空间域卷积的研究。

出比传统机器学习更优的决策能力，将图神经网络、为了适应现实业务场景，研究人员设计了不同的

多模态融合等新技术应用于通信运营商业务场景已聚合函数来聚合中心节点与邻居节点的信息，提出了

成为通信领域人工智能研究的新热点。GraphSAGE模型，并将注意力机制引入图算法，提出

了图注意力网络（GraphAttentionNetwork，GAT）模型。

1用户精准感知系统关键技术

随着图神经网络技术的发展，越来越多的算法模型被

1.1多模态融合技术提出，并且在很多领域的应用中得到了良好的效果。

不同的存在形式或信息来源可以称之为一种模

2用户精准感知系统功能

态，由2种或2种以上模态组成的数据称之为多模态

数据。多模态数据可用来表示不同形态的数据形式本文研究了基于多模态数据融合与图神经网络

或者同种形态的不同格式，一般有文本、图片、音频、的用户精准感知系统。系统功能架构如图1所示，包

视频、混合数据等。含数据接入、数据库、算子库、图技术能力开放中心、

自然现象具有十分丰富的特征，单一模态很难提知识中心等功能模块。基于上述功能模块，在数据层

供某个现象的完整信息。多模态数据融合负责将多面，系统具备应用多模态数据融合技术进行多源数据

个模态的信息进行有效整合，汲取不同模态的优点，整合、创建知识中心、构建用户关系画像等数据处理

完成对信息的融合。对于同一个描述对象，多模态数能力；在算法层面，系统具备应用机器学习、深度学

据通过不同领域或视角获取到数据，通过多模态融合习、图神经网络等人工智能算法进行建模分析，服务

实现对数据每一个领域或视角的优点最大化，充分发于具体应用场景的能力。

挥各模态数据在应用场景中的价值。2.1数据接入模块

1.2图神经网络技术原始数