基于Bert和多头自注意力机制的双目标跨域推荐研究.pdf

基于Bert和多头自注意力机制的双目标跨域推荐研究

摘要

随着互联网时代到来，信息量急速增长，网络上资源越来越多，为了节约用户的

时间成本，推荐系统就随之产生。但是各大互联网厂商都各自构建数据生态链，并且

同时涉足多个领域，由此势必会出现用户信息跨平台或者跨领域的现象。为了使各领

域之间能够实现信息共享和互补，同时提高不同领域的推荐性能，研究人员提出了双

目标跨域推荐框架。双目标跨域推荐对于目前推荐系统研究具有重要的作用，但是对

目前研究来说，还存在着一些问题，本文具体问题分析及解决方法如下：

（1）目前双目标跨域推荐中大多数研究只利用了用户的评分数据，没用使用用户

项目的交互文本信息，或者仅利用了部分文本信息，没有充分挖掘出文本的隐式信息，

无法有效提高推荐效率。针对上述问题，本文将双目标跨域推荐与Bert进行结合，提

出了基于Bert的双目标跨域推荐模型（BertSelf-attentionDualTargetCrossDomain

Recommendation，BS-DTCDR），让输入数据携带位置信息，使模型能够找出位置特点，

充分捕捉文本中的双向上下文信息，从而提高推荐性能。在亚马逊数据集上进行了对

比实验和分析，以Tool和Toy领域为例，Tool领域RMSE下降18.8%，MAE下降1.2%，

Toy领域RMSE下降2.1%，MAE下降0.7%。

（2）目前双目标跨域推荐模型中网络结构比较简单，存在着特征提取能力不足和

学习能力较差的问题。针对上述问题，本文将双目标跨域推荐与多头自注意力机制和

残差网络进行结合，提出了基于多头自注意力机制和残差网络的双目标跨域推荐模型

（Multi-headSelf-attentionandResnetDualTargetCrossDomainRecommendation，MSR-

DTCDR），使用多头自注意力机制进行特征提取，可以提取出更多的用户和项目特征

用于模型训练，并结合残差网络降低了计算复杂度，提高收敛速度，同时缓解了浅层

模型学习能力差的问题。在亚马逊数据集上进行了对比实验和分析，以Music和Movie

领域为例，Music领域RMSE下降4.8%，MAE下降1.0%，Movie领域RMSE下降1.6%，

MAE下降1.2%。

将BS-DTCDR与MSR-DTCDR模型融合作为本文完整模型，提出了基于Bert和多

头自注意力机制残差网络的双目标跨域推荐模型（BertandMulti-headSelf-attentionand

ResnetDualTargetCrossDomainRecommendation，BMSR-DTCDR），为了验证BMSR-

DTCDR模型的有效性，本文在亚马逊和Yelp两个公开的真实数据集上进行了对比实

验、参数实验和消融实验来验证模型有效性，以Music和Movie领域为例，Music领域

哈尔滨工程大学硕士学位论文

RMSE下降21.5%，MAE下降30.4%，Movie领域RMSE下降9.6%，MAE下降16.1%。

实验结果表明本文提出的BMSR-DTCDR模型可以有效利用已知信息，充分捕捉文

本中的双向上下文信息，提高模型的特征提取能力和学习能力，与基线模型相比推荐

性能得到显著提高。

关键词：双目标跨域推荐；Bert；多头自注意力机制；残差网络

基于Bert和多头自注意力机制的双目标跨域推荐研究

Abstract

WiththeadventoftheInternetera,thevolumeofinformationhasbeenrapidlyincreasing,

andthereisanabundanceofresourcesavailableonline.Inordertosaveuserstimeandeffort,

recommendationsystemshaveemerged.H