大数据技术电影推荐系统设计与实现.docVIP

大数据技术电影推荐系统设计与实现 【摘要】在大数据时代，智能推荐系统为我们生活带来了极大的便利，根据用户的浏览信息可以为用户提供相对应的功能、产品和服务，使得用户能够更高效地从海量数据中得到自己期望的信息数据。电影是很多人娱乐生活中不可缺少的一部分，电影推荐也是互联网推荐内容中重要的一种。本文将依托此为背景，通过数据挖掘相关算法来构建一个智能的电影推荐系统，根据用户过去观影喜好来为之个性化提供多个电影作品。 【关键词】电影推荐；数据挖掘；机器学习 1前言 随着现代科技生产力的发展，人们在空闲时间中逐渐开始追求更高要求的娱乐活动，而电影就是最为普遍的娱乐方式之一。不管是喜剧还是悲剧，都能勾起你纯真的眼泪；不管是动作片还是恐怖片，都能让你的肾上腺大开大合；不管是科幻片还是纪录片，都能让你云游古今中外。不管是去电影院，或是购买影碟，或是在网上观赏影片前，人们总是有选择性地去寻找一些更符合自己喜好的、内容精致的、更受欢迎的电影去观看。但是，如今影片的拍摄逐渐走向高产化，佳片许多，烂片也层出不穷，如果采用人工方法，在大量电影影片中找到自己真正喜欢的电影是一个耗费精力的事情。本文通过大数据挖掘技术构建了一个智能的电影推荐系统，针对不同用户，提供多个与其过去的观影信息相似度较高的符合该用户喜好的电影，满足用户的观影需求。本文使用了kaggle网站中TMDB5000MovieDataset的电影数据集，主要结合应用分类统计（ClassStatistics）、样本相似度（Correlation）分析等经典数据挖掘算法，剖析数据间的关系，从而完成电影推荐系统的相关功能。用户为系统提供一个电影的名称，该系统提供与这部电影在类型、内容、受欢迎程度、年代等综合程度最相似的五部影片。 2数据预处理 本文所使用的电影数据集，包含：电影类型（genres）、关键字（keywords）、导演（director）、演员（actor）、发行公司（compa-ny）、电影评分（IMDB）、成本（budget）、评分人数（count）、电影的发行年份（year）、发行国（country）、语言（language）等字段，共计5000多部电影详细信息。本文的智能推荐系统主要依赖电影和电影之间的“相似度”（similarity）来为用户推荐电影，在计算相似度的过程中会使用描述该电影的“关键字”（keywords）作为计算的主要因素之一。但是在这些关键字中有大量的低频词，会对计算过程产生噪音影响；关键词中还有大量的同义词，如“shadow”和“dark”，同根词，如“music”和“musical”、“train”和“training”、“apple”和“apples”，在计算相似度应该被视为同一个词。因此，我们使用以下的预处理方法对关键字进行了清洗。①本文应用python的NLTKpackage合并了同义词和同根词。②本文对频次小于五次或出现在少于三个电影的关键字进行了过滤。数据集中有一些属性需要进行离散化处理，如发行年份（releasedate），本文应用了EXCEL的YEAR（）函数和ROUND-DOWN（）函数以10年为间隔，将其分为了1930s、1940s一直到2010s（代表2010年及以后）的年代制。 3电影推荐系统的设计 不同的人在挑选电影的时候往往有不同的选择，但是大抵都会考虑以下几个方面。电影的导演和演员以及制作公司可能是观众会着重考虑的部分。著名导演例如姜文、JamesCameron，作品虽少但精品居多，他们的电影上映后可能会吸引大量观众。演员也是电影的一个重要载体，如RobertDowney这样拥有优秀的演技、帅气外表的演员收揽了众多的狂热粉丝，带来了票房大卖。电影公司也在观众的选择中有着重要的影响，像MarvelStudios、DCEntertainment这类公司靠超级英雄系列吸引了许多观众，该系列的每一部新片上映都会快速引起观影热潮。我们称这部分因素为创作（cast）因素。电影内容、电影类型、发型年份、语言在不同程度上也是影响观众选择电影时的因素之一，观众会优先去看符合自己口味的电影。换句话说，一个喜欢看动作片的人，会在众多电影中选择如敢死队、警察故事这类以动作取胜的影片；而一个人若喜欢爱情片，泰坦尼克号这样唯美的作品将成为其首选。我们称这部分属性为内容（content）因素。影片在同档期中的受欢迎程度、电影评分、评分人数也是决定观众是否选择这个电影的原因之一。我们称这部分因素为口碑（popularity）因素。为了探究这些因素对于观众在选择电影时的影响，本文首先对某几个因素进行了定量分析。3.1电影类型。数据集中一部影片可能为多种电影类型，本文统计了不同类型电影