去流行度偏差的推荐方法研究.pdf

去流行度偏差的推荐方法研究

摘要

推荐系统和自然语言处理、计算机视觉并称为机器学习三大方向，随着机

器学习以及深度学习的发展，推荐系统也得到了长足的发展，无论是学界还是

工业界推荐系统都得到了许多研究人员的关注，在生活中也不难在电商购物、

社交平台、视频平台等等常用的应用中直接应用推荐系统。然而因为存在数据

的偏差，在统计学界也是重要的随机数据缺失问题（MAR），导致推荐系统一直

存在流行度偏差，这种偏差会导致推荐系统一直偏向推荐交互量大的流行商

品，但是这就导致推荐系统的趋同，严重影响用户体验。

本文首先使用T-SNE降维商品嵌入，验证了流行度偏差的普遍存在，针对

流行度偏差问题，本文提出了两种解决方法，第一种方案主要目标是构建无偏

的商品嵌入，根据实验我们发现流行度偏差可以当作一种商品的内在属性，在

第三章中提出了一种解耦流行度去偏差的方法，在数据集中对每个商品根据总

交互量化分流行和非流行商品组，通过聚类算法进行拟合，达到解耦流行度去

偏差的目的，最后用正交损失遗忘流行度信息，最后再进行下一步的推荐任

务。但是这个方法是模型固定的，不能再套用到其它的模型中，故本文第一个

方法不能解决绝大多数基模型的去偏需要。

针对第一个方法的问题，本文又提出了第二个去偏方法，本文利用了经典

的Skip-Gram嵌入算法的流行度负采样方式，这种负采样方式原本是为加速计

算，在本文中发现可以有效缓解流行度偏差，本文利用这种负采样方式，构建

了模型无关的去偏框架，在这种框架下，可以在保证基模型的精度的情况下，

在流行度指标上取得很好的效果，解决我们第一个模型的缺点。

本文还提出了两种衡量模型流行度偏差程度的指标，在多个数据集和基模

型下，进行了有效的对比实验，验证本文提出的方法可以有效缓解流行度偏

差，为学界和业界提出有效的解决方案。

关键词：深度学习；推荐系统；流行度偏差；注意力机制；负采样

去流行度偏差的推荐方法研究

Abstract

Recommendationsystem,naturallanguageprocessingandcomputervisionare

knownasthethreemajordirectionsofmachinelearning.Withthedevelopmentof

machinelearninganddeeplearning,recommendationsystemhasalsoachievedgreat

development.Recommendationsystemhasattractedtheattentionofmanyresearchers

bothinacademiaandindustry.Indailylife,itisnotdifficulttodirectlyapplythe

recommendationsystemincommonapplicationssuchase-commerceshopping,

socialplatforms,videoplatformsandsoon.However,duetothedatadeviation,

whichisalsoanimportantproblemofmissingrandomdata(MAR)inthestatistical

field,therecommendationsystemalwayshasthepopularitydeviation.Thisdeviation

willleadtotherecommendationsystemalwayspreferringpopularcommoditieswith

alargenumberofrecommendedinteractions,butthisleadstotheconvergenceofthe

recommendationsystemandseriouslyaffectstheuserexperience.