基于多模态融合与图神经网络的用户精准感知系统研究.docxVIP

30

30 2023/06/DTPT

基于多模态融合与图神经网络的

用户精准感知系统研究

0前言

近年来人工智能技术的发展影响到了企业与个人的方方面面，深度学习技术作为人工智能技术的一个分支发展尤为迅速，并且在文本、语音、图像等数据上已经取得了很大的成功。目前，将语音、图像、文本等多种类型的数据进行多模态融合，服务于具体的业务场景是人工智能的一个重要发展方向。

除了图像、文本、语音等数据外，许多行业领域还

——————————

收稿日期：2023-05-06

存在着图结构的数据，例如社会科学中的社交网络、电子商务领域中的商品与用户关系、通信网络的拓扑结构等，为了充分挖掘这些图结构数据的特征，图神经网络技术被提出，并在很多行业表现出巨大的发展潜力。

通信运营商具备海量的网络与业务数据，其中运营商的网络拓扑结构、人机物交互拓扑、用户社交关系等都是能够以图结构表示的数据，具有应用图神经网络技术的天然优势。另外，运营商在开展业务中存储了大量的语音、文本、图像等数据，具备进行多模态融合的基础。人工智能领域的图神经网络算法结合

多模态数据（文本、语音、图像等）在复杂场景下表现出比传统机器学习更优的决策能力，将图神经网络、多模态融合等新技术应用于通信运营商业务场景已成为通信领域人工智能研究的新热点。

1用户精准感知系统关键技术

1.1多模态融合技术

不同的存在形式或信息来源可以称之为一种模态，由2种或2种以上模态组成的数据称之为多模态数据。多模态数据可用来表示不同形态的数据形式或者同种形态的不同格式，一般有文本、图片、音频、视频、混合数据等。

自然现象具有十分丰富的特征，单一模态很难提供某个现象的完整信息。多模态数据融合负责将多个模态的信息进行有效整合，汲取不同模态的优点，完成对信息的融合。对于同一个描述对象，多模态数据通过不同领域或视角获取到数据，通过多模态融合实现对数据每一个领域或视角的优点最大化，充分发挥各模态数据在应用场景中的价值。

1.2图神经网络技术

图数据是除语音、文本、图像、视频、表格等数据外，另外一种数据的表现形式。图数据通过将现实场景中的实体转化为节点、将实体间的关系转化为边进行建模，图结构数据对现实场景具有很强的表达能力。

虽然深度学习技术在声图文数据中的应用取得了惊艳的效果，但是应用于图数据时存在诸多挑战。图数据具有不规则的结构，图的节点之间是无序的，图中每个节点与其他节点之间存在复杂的依赖关系。常见的卷积神经网络（ConvolutionalNeuralNetwork，

CNN）、循环神经网络（RecurrentNeuralNetwork，RNN）

提取图像、文本特征的能力，在图数据上无法适用。

图神经网络算法的提出就是用于建模图节点之间的依赖关系，从而对图节点进行表示，充分提取图数据特征，应用于下游任务。

图神经网络的基本思想就是聚合邻居，为了更加全面地刻画每个节点，除了节点自身的属性信息，还需要更加全面的结构信息，所以要聚合邻居节点的信息。图神经网络模型最初由谱方法导出，将卷积核作用在谱空间的输入信号上，并利用卷积定理实现图卷积，以完成邻居节点的信息聚合。图卷积网络（Graph

ConvolutionalNetwork，GCN）算法将图神经网络从谱域

卷积的研究转向了空间域卷积的研究。为了适应现实业务场景，研究人员设计了不同的

聚合函数来聚合中心节点与邻居节点的信息，提出了GraphSAGE模型，并将注意力机制引入图算法，提出了图注意力网络（GraphAttentionNetwork，GAT）模型。随着图神经网络技术的发展，越来越多的算法模型被提出，并且在很多领域的应用中得到了良好的效果。

2用户精准感知系统功能

本文研究了基于多模态数据融合与图神经网络的用户精准感知系统。系统功能架构如图1所示，包含数据接入、数据库、算子库、图技术能力开放中心、知识中心等功能模块。基于上述功能模块，在数据层面，系统具备应用多模态数据融合技术进行多源数据整合、创建知识中心、构建用户关系画像等数据处理能力；在算法层面，系统具备应用机器学习、深度学习、图神经网络等人工智能算法进行建模分析，服务于具体应用场景的能力。

2.1数据接入模块

原始数据从运营商业务领域来划分，可以分为B域数据、O域数据、M域数据等；从数据类型划分可以分为结构化数据、半结构化数据、非结构化数据、图数据等。原始数据经数据采集功能采集后放置到