20spark大数据技术与应用--04.pptVIP

Spark 大数据技术与应用 第十章 图书推荐系统 03 CONTENT 04 01 02 课前回顾 数据可视化概述 Django 项目搭建 1 、模型迁移 2 、管理界面 0 3 推荐引擎设计 推荐算法 目前主流的推荐算法主要包含内容关联算法 , 协同过滤算法。 内容关联算法 (Content-Based) 协同过滤算法 (collaborative filtering) Alternating Least Square （ ALS ） ALS 算法是 2008 年以来，用的比较多的协同过滤算法。它已经集成到 Spark 的 Mllib 库中，使用起来比较方 便。 从协同过滤的分类来说， ALS 算法属于 User-Item CF ，也叫做混合 CF 。它同时考虑了 User 和 Item 两个方面。 用户和商品的关系，可以抽象为如下的三元组： User,Item,Rating 。其中， Rating 是用户对商品的评分， 表征用户对该商品的喜好程度。 Pyspark 的 MLLIB 中 recommendation 模块 导入书籍数据 ALS 算法是基于模型的推荐算法。我们需要先导入数据。前面我们共建了三个数据表，用户表、书籍表和 用户点击表，其中书籍表需要我们自己导入，用户表 和 用户点击表需要我们自己创建数据。 书籍数据格式如下，有 55416 行 导入书籍数据 我们先编写数据上传的视图函数，在 home 文件夹的 views.py ，定义如下函数： def importBookData(request): if request.method==POST: file=request.FILES.get(file,None) if not file: return HttpResponse(None File uploads !) else: name= handle_upload_file(name,file) return HttpResponse(success) return render(request,utils/upload.html) handle_upload_file def handle_upload_file(name,file): path=os.path.join(settings.BASE_DIR,uploads) fileName=path+/+name print(fileName) with open(fileName,wb) as destination: for chunk in file.chunks(): destination.write(chunk) insertToSQL(fileName) insertToSQL def insertToSQL(fileName): txtfile=open(fileName,r) for line in txtfile.readlines(): try: bookinfo = line.split(,) id = bookinfo[0].decode().encode(utf-8) name = bookinfo[1].decode().encode(utf-8) rating = bookinfo[2].decode().encode(utf-8) price = bookinfo[3].decode().encode(utf-8) publish = bookinfo[4].decode().encode(utf-8) url = bookinfo[5].decode().encode(utf-8) try: bk_entry=book(name=name,price=price,url=url,publish=publish,rating=rating) bk_entry.save() except: print(save error+id) except: print(read error +id) 训练模型 训练模型需要我们提前拥有数据，数据格式如下： 用户 id 1035 1035 1044 1046 图书 id 1 2 1 1 点击次数 1 1 1 1 隐式训练模型 推荐系统中用户对物品的反馈分为显式和隐式反馈 显式反馈 ( 如评分、评级 ) 隐式反馈 ( 如浏览、点击、加入购物车 ) 隐式训练模型 隐式反馈的特点 没有负面反馈 隐式反馈包含大量噪声 隐式反馈表现的是用户的信任（ confidence ） 隐式反馈非常难以量化 隐式训练模型 Pyspark 的 MLLIB 中 ALS 类有两个函数 class pyspark.mllib.recommendation.ALS train(ratings, rank,