基于Spark集群的电影分享社交平台的设计与实现.docx

摘要

本论文主要针对互联网上海量信息对用户造成的选择困扰问题，设计并实现了一款基于Spark集群的电影分享社交平台，该平台使用SpringBoot框架搭建Web平台，用Spark集群以及协同过滤算法对数据进行计算，推荐用户可能喜欢的电影，过滤用户不需要的垃圾信息，向用户提供个性化服务，以及使用Socket技术实现在线实时聊天，让用户体验良好的在线互动，并且增加了电影评论的功能，让用户在挑选电影观看之前能够快速通过电影评分以及他人评价，得到电影是否适合自己观看的合理判断。解决了用户选择困扰的问题，在智能推荐方面与传统电影网站有明显的改进。

关键词：推荐系统；协同过滤算法；Spark；Socket

Abstract

ThisthesisfocusesontheInternetinShanghaiquantityinformationfortheuserthechoiceoftroubleproblem,designafilmbasedontheSparkclustersharesocialplatform,usingSpringBootframeworktobuildaWebplatform,withtheSparkclusterandcollaborativefilteringalgorithmforcalculation,datasuggestedusersmightlikemovies,filteringspam,usersdon'tneedtoprovidecustomerswithpersonalizedservice,andrealizereal-timechatonlineSockettechnology,makegooduserexperienceofonlineinteraction,designthefunctionofmoviereviews,Itenablesuserstoquicklyjudgewhetherthemovieissuitablefortheirownviewingthroughmovieratingandotherpeople'sevaluationbeforeselectingthemovietowatch.Theproblemofuser'schoiceissolved,andthereisanobviousimprovementbetweentheintelligentrecommendationandthetraditionalmoviewebsite.

Keywords：RecommendationSystem；CollaborativeFiltering；Spark；Socket

目录TOC\o"1-3"\h\z\u

第一章绪论 1

1.1研究背景和意义 1

1.2国内外电影推荐系统发展现状 2

1.3本文结构 3

1.4本章小结 4

第二章基础技术介绍 5

2.1框架以及基础技术介绍 5

2.1.1Spark和Hadoop介绍 5

2.1.2SpringBoot框架简介 5

2.1.3WebSocket技术原理 6

2.2推荐系统算法介绍 6

2.2.1协同过滤推荐算法 6

2.2.2内容推荐算法 7

2.2.3相似推荐算法 8

2.2.4关联规则推荐算法 8

2.2.5推荐系统评估指标 8

2.3相似度计算公式 8

2.3.1欧几里得距离 8

2.3.2曼哈顿距离 9

2.3.3余弦相似度 9

2.4本章小结 9

第三章离线推荐系统设计 10

3.1集群搭建设计 10

3.2推荐算法计算步骤 11

3.2.1样本处理 11

3.2.2模型搭建 12

3.3基于物品的协同过滤算法原理 13

3.4本章小结 14

第四章Web社交平台设计 15

4.1系统总框架 15

4.2系统程序设计 15

4.2.1功能设计 15

4.2.1数据库设计 17

4.3本章小结 20

第五章具体功能实现与测试 21

5.1环境搭建 21

5.2系统功能实现 21

5.2.1用户模块功能 21

5.