科技文献检索结课大作业-基于Spark的电影推荐系统.docx

南阳理工学院 《科技文献检索》结课大作业 计算机与软件 学院 软件工程 专业 课题名称： 基于Spark的电影推荐系统 关 键 词： spark；推荐系统；协同过滤 　　 1．本课题所涉及的问题在国内（外）的研究现状综述 1500字左右，包括参考文献 随着互联网的发展，大数据时代到来。如今，互联网规模不断扩大，网民数量不断增加，网络数据爆炸式的增长，使得当今社会已经从以前的信息化时代逐步走进了大数据时代。但随着数据量的增多，数据维度的增加，当用户无法明确自己的需求或需求过于复杂时，如何在茫茫数据和广告中找到有价值的信息就尤为困难。电影产业作为互联网发展带动的产业之一，尤其最近十几年来，2019年的国内电影票房为600多亿，城市院线观影人数从2012年的4.4亿增加到2019年的17.27亿，国内电影的产量已经超过1000部。但电影品质并未随着数量一同上升，质量参差不齐。豆瓣电影评分6分以上的电影仅占25%。一些影片质量低劣，对国产电影的口碑产生了巨大的影响。并且，国内电影题材也逐渐多样化，风格各异。如何为广大用户推荐到适合用户的高品质的电影，对各大视频网站有着重要的意义。 推荐系统的起源可追溯到二十世纪九十年代，至今已有20多年。最早源自明尼苏达大学的一个叫做GroupLens研究小组对电影推荐系统MovieLens的研究。当时的推荐系统借鉴了众多相关领域的研究成果，其中包括近似理论、认知科学、预测理论、信息检索、管理科学和市场建模等多个领域的知识。此后，卡耐基梅隆大学推出Web Watcher系统用于辅助信息查找，斯坦福大学提出个性化推荐系统LIRA，麻省理工大学研发了个性化导航系统Litizia。在应用领域中，亚马逊的商品推荐系统、Netflix举办的推荐系统大赛以及Google广告联盟均有效的提高了网站的用户数量和营业额。 推荐系统主要依赖于商品信息、用户信息和用户的行为数据，可以根据用户的行为特征将其行为数据分为两类。第一类行为数据是用户评分，该类数据明显清晰的表现了用户的喜爱程度，被称为显示反馈数据；第二类数据是表示用户是否有浏览、收藏、购买等行为的数据，被称为隐式反馈数据。 在应用方面，推荐系统覆盖电商、电影、音乐等众多领域。对于电影推荐，国外有Criticker、Jinni、IMDB、Movie Lens、Nanocrowd、RottenTomatoes等流行的电影推荐网站，他们根据各自独有的电影特征以及业务侧重点，开发具有各自特点的电影推荐系统。国内目前大部分的影视网站也都有自己的推荐系统，比如腾讯视频首页的“猜你会追”模块，爱奇艺首页的“猜你喜欢”模块，优酷首页的“今日推荐”模块等。为了应对推荐系统中庞大的计算数据，通用计算引擎spark被个互联网公司纷纷采用，其中就有腾讯、优酷、土豆等在线视频软件公司。 基于协同过滤的推荐算法应用十分广泛，其分为两个子类，基于内存和基于模型。基于记忆的方法直接使用记录交互的值，假设没有模型，且基于最近邻搜索（例如，从感兴趣的用户中找到最近的用户，并推荐这些邻居中最受欢迎的项目）。 基于模型的方法假设一个潜在的“生成”模型解释用户-项目交互并发现它以做出新的预测。目前市面上超过半成的推荐系统仍旧依靠的是协同过滤算法，并且整体推荐效果不亚于新研究出来的其他推荐算法，并且协同过推荐算法的性能最为稳定，只要提到推荐系统，第一个出现在我们脑海里的算法就是协同过滤。协同过滤算法最主要也是最基础的实现方式有两种：基于用户的最近邻推荐和基于物品的最近邻推荐。原理就是根据用户对物品或者信息的偏好，发现物品本身的相关性或者发现用户之间的相关性，再基于相关性按程度得分进行排序推荐。 参考文献： [1]杨富豪. 基于Spark的新闻推荐系统的设计与实现[D].北京工业大学,2018. [2]杨浪. 基于Spark的电影推荐系统设计与实现[D].北京邮电大学,2021.DOI:10.26969/d.cnki.gbydu.2021.002932. [3]方文都. 基于Spark的物品推荐系统的设计与实现[D].北京邮电大学,2021.DOI:10.26969/d.cnki.gbydu.2021.002254. [4]杨宗鑫. 基于Spark的电影混合推荐系统的设计与实现[D].黑龙江大学,2020.DOI:10.27123/d.cnki.ghlju.2020.001301. [5]丁一凡. 基于Spark的电影混合推荐系统的设计与实现[D].华东师范大学,2021.DOI:10.27149/d.cnki.ghdsu.2021.002123. [6]杨东辰. 基于Spark大数据的短视频推荐系统的设计与研究[D].南昌大学,2021.DOI:10.27232/d.cnki.g