陈雨霄-关联推荐总结.docVIP

离线 1.1.流程 流程图中的横线，之所以要过滤top20，是因为阅读出来的推荐结果被认定效果更好。此外如果订购里出现很多和阅读一样的推荐结果的话??用户会看到很多重复的。所以就让订购的结果过滤掉阅读结果的前20本书 1.1.1订购还订购关联指标数据过滤 关联代码： /trunk/mras2/src/main/java/com/eb/bi/rs/mras2/bookrec/corelationrec/OrderCorelationRecDriver.java 输入数据： 图书A|图书B|图书A用户数|图书B用户数|图书AB共同用户数|前置信度|后置信|KULC|IR|cla图书订购频次与图书分类连接模块 关联代码： /trunk/mras2/src/main/java/com/eb/bi/rs/mras2/bookrec/corelationrec/ReadCorelationRecDriver.java 输入数据： A.图书分类信息 数据格式：图书ID|作者|分类|大类 B.图书订购频次表 数据格式：图书ID|订购次数 计算： 实现一个MAPREDUCE JOB，实现图书信息与订购频次连接的功能。 输出数据： 图书ID|作者|分类|大类 a.配置 job.config和task.config .config可以参考之前的job里的.config文件 c.配置 job.index文件 在文件：?indox/etc/ config.inaccessd d.刷新 通过使用refreshJobIndex -job yangxsjob 1.2.2.打包maven程序 通过cmd方式创建war包 D:\Myeclipse2014\workspace\trunk\mras2mvn assembly:assembly 通过手动运行的方式给maven程序打包 1.2.3.运行maven程序 maven打包后在hadoop手动运行idox插件 命令相关的解释 2.实时 2.1.流程 关联代码 /trunk/mras/bookrec/correrecrealtimefilter/src/main/java/com/eb/bi/rs/mras/bookrec/correrecrealtimefilter/FilterBolt.java 2.2.Storm查看延时 storm ui :8080/ 发送单条测试数据 redis1：root redis-cli -p 6382 lpush filter_req userid=×××bookid=451113007type=9authorid=1000915277classid=1138 get filter_re 提交storm程序 storm?jar?except-order-1.0-SNA?main.PageviewTopo 离线与实时之间的关联 离线计算出50本存到hbase，之后实时这部分主要负责过滤补白，从hbaes中取数据，过滤补白得出6本存到redis。实时发布查看相应数据。 计算相关指标 按规则筛选关联图书50+N（N=20）本，不足按规则补白） 近6月用户订购图书记录 输入数据 订购还订购关联推荐结果过滤阅读还阅读的top20 图书i|图书j|前置信度|顺序 计算相关指标 按规则筛选关联图书（50本，不足按规则补白） 结束 近6月用户深度阅读图书记录 输入数据 图书i|图书j|前置信度|顺序 图书i|图书j|前置信度|顺序 输出数据 输出数据 开始 idox etc--config.inaccessd 配置端口号 repository Job.index 配置job信息 Job finished_batch 内含result,log meta_data 内含task.config以及job.config running_batch 开始 获取分类id,大类id 获取用户阅读历史 离线推荐结果 补白 过滤用户历史，过滤系列图书 有 无 结束