全国高校云计算应用创新大赛南京大学和南京邮电大学技能赛赛题1赛题一-面向大数据的高效关联规则推荐算法.pptxVIP

全国高校云计算应用创新大赛;;一.赛题描述 关联规则：最早应用于购物篮分析(Market Basket Analysis)，用来揭示一组经常被 一起购买的商品，目前，成为一种简明且解释性极佳的推荐模型。 推荐精度：与基于奇异值分解的协同过滤的复杂模型相比，它难以获得与其相同的推荐精准度， 但是，关联规则推荐方法仍然具有很高的实用性。 应用举例：YouTube 使用关联规则推荐视频、淘宝和亚马逊网站上的“购买此商品的顾客也同时购买”及“经常一起购买的商品”等推荐方式也依托于关联规则构建。;频繁模式：它具有反单调性，一个频繁模式包含很多频繁子模式，而一个频繁模式也能导出多个关联规则，因此，关联规则数量巨大。 计算效率：电子商务网站的用户并发访问量非常高：淘宝并发在线用户通常高达千万，因此，大量在线用户搜索候选规则的计算效率已成为制约利用关联规则进行推荐能否达到实用的瓶颈问题。 赛题目的：目前，关联规则的研究大多聚焦在推荐的准确性上，本赛题的目的就是唤起对关联规则推荐的可扩展性(Scalability)问题的重视，响应大数据时代的挑 战，增强关联规则推荐的实用性。 ;二、赛题关联规则算法 赛题焦点：本赛题的焦点是不关注推荐的准确率。因此，选择一种最简明易懂的推荐分值计算方案，即：最高置信度(confidence)作为候选项分值，利用其它指标或多个指标作为候选项推荐分值依据。本赛题所设计的高效关联规则框架应能够轻松地扩展至其他不同的关联规则推荐方法。 赛题假设： A 频繁模式挖掘：设给定购物篮数据集(Market-Basket Database) D，利用 Apriori、FP-growth 或其他同功能算法可挖掘到在给定最小支持度阈值 min_supp 约束下的频繁; 模式集合 P={P1, P2,…, 第四届全国高校云计算应用创新大 赛技能赛赛题一 Ps}。注意：这步将列入考核步骤，(1) 给定 min_supp 后频繁模式集合 P 的准确性（是否遗漏或 多余）；(2) 挖掘的时间算作完成关联推荐的一 部分。 B 关联规则生成：面对推荐需求，假设关联规则的后项仅 包含 1 个项目（即作为候选推荐项），而关联规则前项 包含该频繁模式剩余所有项???。不失一般性，设任意频 繁模式 Pj={ij1,ij2,…,ij|Pj|}，|Pj|为模式 j 包含的项目数量， 则 Pj 可生成|Pj|条关联规则：Rjk:Ajk→ijk，1≤k≤|Pj|， Ajk=Pj/{ijk}。 C 关联规则匹配：给定等待推荐的用户概貌(User Profile)集; 合 U，其中每个用户概貌为项 目的集合，设为 Tu，一条 关联规则 Rjk 能为 Tu产生候选项，需满足：(1) 规则前项 Ajk 被 Tu 包含；且(2)后项 ijk 不被 Tu包含。对 Tu 有用的关 联规则集合可形式化为： Ru={Rk:Ak→ik|Ak?Tu,ik?Tu,Rk?R}。 D 推荐分值计算：每条 Ru 中的规则必会为 Tu 带来一个推荐 候选项 ik，ik 的推荐分值为所有以 ik 为后项规则的最大置 信度，最后将 Tu 所有推荐候选项以推荐分值由大至小排 序，取 Top-N 的项作为最终推荐列表。Rjk 置信度计算为： conf(??????) = ????????(???? ) /????????(??????) (1) 其中，supp 表示支持度计数。;赛题任务：赛题给定购物篮数据集 D 和活跃用户数据集 U，编写 Spark 程序，以支持度阈值 min_supp=9.2%从数据集 D 中挖掘频繁模式（步骤 A），然后将关联规则与 数据集 U 中的用户概貌进行匹配并计算出每个用户的推荐项目（步骤 D）。为简单起见，赛题仅要求给出置信度最大的项（即 Top-1 项）作为推荐结果，如果置信度最大的项有多个，则给出编号最小的项作为结果。如果某用户没能产生推荐项（即没有关联规则与其概貌匹配），则以 0 作为结果。 数据集说明：购物篮数据集 D 中的每一行表示一个记录（或称之为事务，transaction），记 录中项目以空格分隔。;数据的规模如表 1 所示，整理过的数据集请至大赛官方 网站下载。 表 1 购物篮数据集 D 规模 活跃用户数据集 U 中每一行表