大数据技术电影推荐系统设计与实现.docxVIP

　　在大数据时代，智能推荐系统为我们生活带来了极大的便利，根据用户的浏览信息可以为用户提供相对应的功能、产品和服务，使得用户能够更高效地从海量数据中得到自己期望的信息数据。 　　电影是很多人娱乐生活中不可缺少的一部分，电影推荐也是互联网推荐内容中重要的一种。 　　本文将依托此为背景，通过数据挖掘相关算法来构建一个智能的电影推荐系统，根据用户过去观影喜好来为之个性化提供多个电影作品。 　　电影推荐；数据挖掘；机器学习1前言随着现代科技生产力的发展，人们在空闲时间中逐渐开始追求更高要求的娱乐活动，而电影就是最为普遍的娱乐方式之一。 　　不管是喜剧还是悲剧，都能勾起你纯真的眼泪；不管是动作片还是恐怖片，都能让你的肾上腺大开大合；不管是科幻片还是纪录片，都能让你云游古今中外。 　　不管是去电影院，或是购买影碟，或是在网上观赏影片前，人们总是有选择性地去寻找一些更符合自己喜好的、内容精致的、更受欢迎的电影去观看。 　　但是，如今影片的拍摄逐渐走向高产化，佳片许多，烂片也层出不穷，如果采用人工方法，在大量电影影片中找到自己真正喜欢的电影是一个耗费精力的事情。 　　本文通过大数据挖掘技术构建了一个智能的电影推荐系统，针对不同用户，提供多个与其过去的观影信息相似度较高的符合该用户喜好的电影，满足用户的观影需求。 　　本文使用了网站中5000的电影数据集，主要结合应用分类统计、样本相似度分析等经典数据挖掘算法，剖析数据间的关系，从而完成电影推荐系统的相关功能。 　　用户为系统提供一个电影的名称，该系统提供与这部电影在类型、内容、受欢迎程度、年代等综合程度最相似的五部影片。 　　2数据预处理本文所使用的电影数据集，包含电影类型、关键字、导演、演员、发行公司-、电影评分、成本、评分人数、电影的发行年份、发行国、语言等字段，共计5000多部电影详细信息。 　　本文的智能推荐系统主要依赖电影和电影之间的相似度来为用户推荐电影，在计算相似度的过程中会使用描述该电影的关键字作为计算的主要因素之一。 　　但是在这些关键字中有大量的低频词，会对计算过程产生噪音影响；关键词中还有大量的同义词，如和，同根词，如和、和、和，在计算相似度应该被视为同一个词。 　　因此，我们使用以下的预处理方法对关键字进行了清洗。 　　①本文应用的合并了同义词和同根词。 　　②本文对频次小于五次或出现在少于三个电影的关键字进行了过滤。 　　数据集中有一些属性需要进行离散化处理，如发行年份，本文应用了的函数和-函数以10年为间隔，将其分为了1930、1940一直到2010代表2010年及以后的年代制。 　　3电影推荐系统的设计不同的人在挑选电影的时候往往有不同的选择，但是大抵都会考虑以下几个方面。 　　电影的导演和演员以及制作公司可能是观众会着重考虑的部分。 　　著名导演例如姜文、，作品虽少但精品居多，他们的电影上映后可能会吸引大量观众。 　　演员也是电影的一个重要载体，如这样拥有优秀的演技、帅气外表的演员收揽了众多的狂热粉丝，带来了票房大卖。 　　电影公司也在观众的选择中有着重要的影响，像、这类公司靠超级英雄系列吸引了许多观众，该系列的每一部新片上映都会快速引起观影热潮。 　　我们称这部分因素为创作因素。 　　电影内容、电影类型、发型年份、语言在不同程度上也是影响观众选择电影时的因素之一，观众会优先去看符合自己口味的电影。 　　换句话说，一个喜欢看动作片的人，会在众多电影中选择如敢死队、警察故事这类以动作取胜的影片；而一个人若喜欢爱情片，泰坦尼克号这样唯美的作品将成为其首选。 　　我们称这部分属性为内容因素。 　　影片在同档期中的受欢迎程度、电影评分、评分人数也是决定观众是否选择这个电影的原因之一。 　　我们称这部分因素为口碑因素。 　　为了探究这些因素对于观众在选择电影时的影响，本文首先对某几个因素进行了定量分析。 　　31电影类型。 　　数据集中一部影片可能为多种电影类型，本文统计了不同类型电影的受欢迎程度。 　　首先，使用的计数功能，统计不同电影类型的样本数量。 　　统计结果显式，本数据集中主要的电影类型有剧情片2297部、喜剧片1722部、惊悚片1274部、动作片1154部、爱情片894部，除此之外还有冒险片-790部、科幻片506部、动画片-234部等等。 　　然后，本文又使用了的分类汇总功能，将电影类型作为分类字段，将电影评分作为汇总方式，使用平均值作为汇总项。 　　根据统计结果，受欢迎程度最高的三类影片是冒险片、动画片、科幻片；然而，数量最多的影片类型———剧情片、喜剧片、惊悚片并不是最受欢迎的；反观，虽然奇幻片、推理片等类电影的数量并不占优势，但其受欢迎程度依然较高。 　　因此，在电影市场中，并不是出