9大数据导论-第9章-大数据分析综合案例（2020年秋季学期）.pptVIP

《大数据导论》 厦门大学计算机科学系 林子雨 ziyulin@ 《大数据导论》 厦门大学计算机科学系 林子雨 ziyulin@ 单击此处编辑母版标题样式 厦门大学计算机科学系 2020版 林子雨 博士/副教授 厦门大学计算机科学系 E-mail: ziyulin@ 主页： /post/linziyu 第9章 大数据分析综合案例（PPT版本号：2020年秋季学期） 《大数据导论》 教材官网： /post/bigdata-introduction/ 温馨提示：编辑幻灯片母版，可以修改每页PPT的厦大校徽和底部文字 扫一扫访问教材官网 课程教材 林子雨 编著《大数据导论》 人民邮电出版社，2020年8月第1版 ISBN:978-7-115-54446-9 定价：49.80元 教材官网：/post/bigdata-introduction/ 扫一扫访问教材官网 提纲 9.1 案例任务 9.2系统设计 9.3技术选择 9.4 系统实现 9.5 案例所需知识和技能 百度搜索厦门大学数据库实验室网站访问平台 9.1 案例任务 网络上的电影信息在迅速增长，随着时间的推进，电影信息越来越多，用户面对如此庞大的数据，将变得无所适从。电影推荐系统可以根据用户的喜好（用户对一些电影的评分），向用户推荐可能感兴趣的电影，这样可以给用户创造一个良好的电影信息推荐体验，让用户不再漫无目的地去寻找符合自己口味的电影。 电影推荐系统的功能包括用户管理功能和电影推荐功能（如图所示）。用户管理功能是系统的基础功能，包括注册功能和登录功能。注册是第一次使用本系统的用户的必要步骤，用户进入注册界面，按要求填写相关信息，即用户自定义登录账号和密码，完成新用户注册。在用户成功注册后，即可使用系统的登录功能，用户可在登录界面填写账号和密码，验证成功后可进入推荐系统。 9.1 案例任务 电影推荐功能是系统的核心功能，用户登录成功以后，系统自动随机挑选一些电影呈现给用户，由用户根据自己个人喜好对电影进行评分，然后，系统会根据用户的评分信息，调用Spark程序计算出用户最可能感兴趣的几部电影，并在网页中为用户呈现精美的电影图片。 图9-1 电影推荐系统功能 9.2系统设计 9.2.1 系统总体设计 9.2.2 数据库设计 9.2.3 系统网站的设计 9.2.4 算法设计 9.2.1 系统总体设计 电影推荐系统的设计开发工作包括网站、电影推荐程序和数据库三个部分： 网站：搭建一个网站，提供用户管理和电影推荐功能； 电影推荐程序：开发电影推荐程序，结合大规模历史数据集和用户个人喜好，为用户推荐其可能感兴趣的电影； 数据库：设计一个关系数据库，存放用户信息、电影信息、用户评分信息和电影推荐结果信息。 9.2.1 系统总体设计 下图描述了网站、电影推荐程序和数据库三个部分之间的关系。当用户注册时，新用户的用户名和密码会被写入到数据库中；当用户登录时，系统会到数据库读取用户名和登录密码进行验证；当用户评分时，用户对多部电影的评分信息会被写入到数据库；当用户请求推荐电影时，网页会调用电影推荐程序，电影推荐程序会读取数据库中的该用户的个性化评分数据，并从分布式文件系统中读取大规模历史评分数据，计算得到推荐结果（比如5部用户最感兴趣的电影），并把推荐结果写入到数据库；最后，由网页程序从数据库中读取推荐结果呈现到网页中。 图 9-2 网站、电影推荐程序和数据库三个部分之间的关系 9.2.2数据库设计 本系统使用关系数据库保存用户信息、电影信息、用户评分信息和电影推荐结果信息。需要创建一个数据库movierecommend，并在数据库中创建4个表，即电影信息表movieinfo、用户信息表user、用户评分表personalratings以及电影推荐结果表recommendresult。 各个表的字段如下： （1）电影信息表movieinfo：电影ID、电影名称、电影上映时间、电影导演、主要演员、电影宣传海报、电影的平均评分、参与电影评分的人数、电影简介、电影类型。 （2）用户信息表user：用户ID、用户名、用户登录密码。 （3）用户评分表personalratings：用户ID、电影ID、用户对电影的评分、评分时间。 （4）电影推荐结果表recommendresult：用户ID、电影ID、电影评分、电影名称。 9.2.3 系统网站的设计 如图所示，电影推荐系统网站主要包括首页、登录页面、注册页面、用户评分页