基于hadoopspark的电商推荐系统设计.docx

PAGE4

基于Hadoop+Spark的电商推荐系统设计

摘要

随着移动信息技术和移动互联网的高速进步，电商平台的商品数量和其种类都急剧上涨，如何能够让更多的用户快速且准确地挑选到自己所需要的商品，提高对用户的购买体验以及如何增加对用户的黏性，也已经成为了电商平台亟待解决的关键性问题。本次推荐系统主要设计了一种基于Hadoop+Spark的商品推荐系统，以经过重新修改的数据集为基础依托，以某些电商网站真实的业务数据架构为理论基础，使用MongoDB实现了业务数据库的综合开发和系统设计，利用MongoDB作为一个基于缓存的业务数据库，构建了一套电商推荐系统，包括了电商离线自动推荐和电商实时自动推荐两大体系，综合研究运用了多种协同信息过滤推荐算法和基于推荐内容的电商推荐管理模型并用来设计提供混合式电商推荐。提供了由平台前端开发应用、后台开发服务、算法架构设计和系统实现、平台开发部署等各个方面共同进行的一个多方位平台闭环综合业务平台实现，这样可以很好地解决了用户沉溺在海量的商品中不能快速、准确购物的问题，提升购物体验，进而能让电商平台有效的保留客户，提高用户粘性；另一方面能按

用户需求个性化推荐新产品，从而提高电商平台的销售额，为商家和网购用户提供更为优质的服务。

关键词推荐系统协同过滤HadoopSparkMongoDB

1引言

随着移动信息技术和移动互联网的高速进步，电商平台的商品数量和其种类都急剧上涨，如何能够让更多用户快速且准确地挑选到自己所需要的商品，提高了用户对于购物的体验以及如何增加对用户的黏性，也就成了电商平台亟待解决的关键性问题。本文设计了一种基于Spark的商品推荐系统，一方面解决用户沉溺于海量商品中无法快速、准确购物的问题，提升购物体验，进而能让电商平台有效的保留客户，提高用户粘性;另一方面能按用户需求个性化推荐新产品，从而提高电商平台的销售额，为商家和网购用户提供更为优质的服务[1]。

1.1研究意义

随着现代科学技术的进步和发展，电子商务管理系统的发展迅速，尽管它们为广大用户提供了许多选择的空间，但是，随着我国电子商务管理系统的不断地发展，也已经变得更加相当复杂。其一，用户需要在海量电子商务系统资料中寻找自己真正想要的商品而且需要花费相当的困惑和时间；其二，商家和消费者也很难之间建立起一种良好的互动。到如今，推荐体系也就已经形成了主要的研究项目。在这海量商品资料中，推荐系统通过模拟的商店经营销售管理人员向广大用户自己提供商品的推荐，帮助广大用户寻找自己喜欢和偏好的相关商品，提高了广大用户在网上购买的效率，也就促使广大用户更加清楚地认识到自己所推荐的系统已经形成了依赖的习惯，使得我国的电子商务企业网络销售更加简单、便利；而且商家还可以利用推荐系统来有效地与用户之间的互动连接。首先，推荐管理系统能够在电子商务的系统中为用户推荐自己感兴趣的商品，其次，推荐管理系统也能够在大量的电子商务系统资料中不断地充分发挥它的作用以及优化[2]

1.2研究内容

本系统是使用AngularJS框架完成前台的建立，利用IDEA跟Tomcat建立一个spring框架的后台。使用的框架为Hadoop+Spark，使用MongoDB实现数据库的设计，利用Redis作为缓存数据库。本次推荐系统主要是实现了离线推荐和实时推荐。实时推荐是一种由基于自定义模式的实时推荐软件组成的模块。基于用户的消费数据的精准推荐算法能够减少用户的购物时间，提高用户购物体验。同时提高电子商务平台的运行效率，增加运行收益，所以国内外研究者对精准的推荐算法展开了大量的研究和应用工作。目前，比较典型的自动推荐管理系统主要类型是一些包括基于用户信息内容的自动推荐管理系统、协同信息过滤的自动推荐管理系统以及基于用户地理位置推荐信息的自动推荐管理系统等[3]

本系统主要目的是为更多用户提供个性化的推荐，所使用的框架就是Hadoop+Spark实现编程软件的自动化开发，用户随时都可以很容易地在Hadoop上自己开发和安装运行一些处理海量数据的应用程序，利用MongoDB来实现对数据库的管理和设计，利用Redis作为一个缓存的数据库。MongoDB数据库自带对诸如map-reduce等多种运算格式框架的文件支持，这也很容易方便使用该库进行数据的统计。

工具介绍：Chrome浏览器、MongoDB、Hadoop、Spark、IDEA、tomcat服务器。

开发工具与技术简介

IDEA简介

IntelliJIDEA(后文均简称IntelliJIDEA)使用java语言进行集成研究和开发的环境之一[4]。IDEA作为目前行业中最受欢迎的产品开发工具[5]。和Eclipse平台不