结合正负反馈状态表示的深度强化学习推荐方法.pdfVIP

第23卷第12期软件导刊Vol.23No.12

2024年12月SoftwareGuideDec.2024

结合正负反馈状态表示的深度强化学习推荐方法

张涛，张志军，曹家伟，范钰敏，刘佳慧，袁卫华

（山东建筑大学计算机科学与技术学院，山东济南250100）

摘要：深度强化学习技术在交互式推荐系统上的应用已十分成熟，但少有研究专门对状态进行表示建模，只针对

用户交互过程中的正反馈序列进行状态表示建模，导致推荐系统忽略了用户交互过程中负反馈序列中存在的潜在关

系及用户兴趣变化，使得推荐结果过于片面。鉴于此，提出一种基于对比学习和深度强化学习的推荐系统框架，设计

了对用户和推荐系统交互过程中产生的正负反馈序列进行建模的状态表示模块。此外，为了缓解正反馈数据稀疏问

题和细粒化正负反馈之间的差异性，还加入了对比辅助任务。在Movielens-100K和Movielens-1M两个真实世界的数

据集上进行了大量实验，HR10评价指标分别为0.7052、0.4902；NDCG10评价指标分别为0.4782、0.2715。结果

表明，该方法明显优于当前先进方法，证明了CRLRS对正负反馈同时进行建模以及加入对比辅助任务的必要性，并

且具有更好的推荐性能。

关键词：深度强化学习；对比学习；推荐系统；正负反馈；状态表示

DOI：10.11907/rjdk.232308开放科学（资源服务）标识码（OSID）：

中图分类号：TP18文献标识码：A文章编号：1672-7800（2024）012-0027-09

DeepReinforcementLearning-BasedRecommendationMethodwith

PositiveandNegativeFeedbackStateRepresentation

ZHANGTao，ZHANGZhijun，CAOJiawei，FANYumin，LIUJiahui，YUANWeihua

（SchoolofComputerScienceandTechnology，ShandongJianzhuUniversity，Ji′nan250100，China）

Abstract：Theapplicationofdeepreinforcementlearningtechniquesininteractiverecommendationsystemshasreachedahighlevelofmatu‐

rity.However，thereiscurrentlylimitedresearchdedicatedtomodelingtherepresentationofstates.Existingworksprimarilyfocusonmodeling

staterepresentationsbasedonpositivefeedbacksequencesduringuserinteractions.Thisapproachresultsintheoversightofpotentialrelation‐

shipsexistingwithinnegativefeedbacksequencesgeneratedbyusersduringinteractions，asw