基于lfm的混合推荐算法.pptxVIP

基于邻域，LDA和FM的混合推荐系统设计作者: 庄程旭清华大学电子工程系百度电影推荐？评分训练数据：1,262,741测试数据： 314,679电影总数：8,369用户总数： 143,670标签总数： 1,129平均关注数：6.91用户观看电影记录： 9,871,737关注标签魔幻片外语片问题描述基础模型kNNRBMLibFMFactorization machinesBasicModels2. SVD++RandomForest文献综述比赛之后模型建立实证研究FMBasic FeaturesTag 作为item feature??根据用户喜爱程度调整参数?根据tag的所标注电影数进行分类 文献综述比赛之后模型建立实证研究Main PointBasic Features将Social信息直接作为user feature ??只保留相似度高的好友 相似度计算：?2. 只保留入度高的好友 文献综述比赛之后模型建立实证研究Advanced Features计算“品味相同”的人，取前30个直接作为user feature ??2. 计算“品味相同”的电影，取前 30个直接作为movie feature 基本思路：参考kNN的思想，参考相邻的人的打分来得出最后的打分文献综述比赛之后模型建立实证研究初步实验每一套模型均采用以下4种参数和程序运行方式：LibFM：采用MCMC学习，初始值选取参数0.1，特征维数20维，迭代100轮SVD++_3：采用SGD学习，迭代400轮，特征维数50维，前200轮步长0.01，后200轮步长0.001，参数惩罚0.0001，用sigmoid化。SVD++_2：采用SGD学习，迭代200轮，特征维数50维，前100轮步长0.01，后100轮步长0.001，参数惩罚0.0001，用sigmoid化。SVD++_1：采用SGD学习，迭代200轮，特征维数50维，前100轮步长0.01，后100轮步长0.001，参数惩罚0.1。文献综述比赛之后模型建立实证研究初步实验模型LibFMSVD++_1SVD++_2SVD++_3Tag0.61980.63820.6242 0.6435GoodTag0.61860.63900.62620.6451Tag+diff0.62000.63480.62830.6592Sns0.62070.63880.62970.6426Sns+thread0.62080.63890.63250.6527Sns500.62270.63750.62430.6510Snsall0.62340.63750.6259 0.6440Movieall0.61480.63040.61680.6365文献综述比赛之后模型建立实证研究初步分析Tag和sns之间的对比Tag比起sns来说更加密集这是个很不成熟的Sns系统：3. 一部电影至少1个tag，大部分电影有10个tag 一部电影平均有12.93个tag 一个人平均只有6.91个关注（并且大部分人关注一个从未有打分记录的官方账号） 总共143,670个人，有98733个人只有3个或者以下被关注数目，有40715个人根本没有人关注文献综述比赛之后模型建立实证研究根据数据分析含义： 相似的人太相似； user的相似对里有54.2%的相似度超过0.5，甚至有30.1%的相似度超过0.7。 而movie的相似对里面只有9.1%的相似度超过了0.5。 而相似的电影能够很好的扩大数据量 通过相似的电影，能够看到更多的潜在的打分用户2. movie数据的集中性1. user数据的分散性本质考虑： 在人和电影的二分图之间引入隐层来增强两两之间的联系，从而相当于扩大了训练数据量文献综述比赛之后模型建立实证研究深入分析现象： 人的打分记录的分散。 电影打分记录的集中。“对称性破缺”启发： movie的feature效果更好。 因为movie需要更多的自由度！来应对更多的user。文献综述比赛之后模型建立实证研究深入分析深入思考： 对于不同数据量的电影，给予不同的重视，用较多的feature的数量来满足其适应data的需求。对于较少的数据量的电影，用较少的feature来防止过拟合。文献综述比赛之后模型建立实证研究修改之前的模型用聚类来使user更集中：用LDA的方法来做user的聚类，之后添加最相似的30个类作为user feature。直接选取观看电影数超过100的人作为相似分析的全集。只选取打过分的人作为相似分析的全集（只有9873个人打过分）2. 将相似电影和其他feature混合： movie + tag movie + snsall movie50文献综述比赛之后模型建立实证研究新模型测试模型LibFMSVD++_1SVD++_2SVD++_3M