基于HBase的实时消息推荐系统.pdfVIP

东信北邮信息技术有限公司专栏 E A S T C O M - B U P T I N F O R M AT I O N T E C H N O L O G Y C O . , LT D . C O L U M N T E L E C O M E N G I N E E R I N G T E C H N I C S A N D S TA N D A R D I Z AT I O N 基于HBase的实时消息推荐系统* 1,2 1,2 1,2 郭若男 ，王晶 ，沈奇威 (1 北京邮电大学网络与交换技术国家重点实验室，北京 100876; 2 东信北邮信息技术有限 公司，北京 100191) 摘　要　在现有的推荐系统中，基于用户兴趣模型都能够表达出用户的兴趣，但在用户兴趣发生变化时却不能够及时 更新模型。提出基于用户反馈内容来实时更新用户兴趣的消息推荐系统，通过实时更新模型和特征向量进而 得到用户当前最匹配的推荐结果。并使用HBase（Hadoop Database）作为存储，能更好地适应数据规模的 增长。 关键词　用户兴趣; 实时推荐系统; HBase 中图分类号 TN929.5 文献标识码 A 文章编号 1008-5599（2014）11-0078-04 1 引言 荐结果实时更新等 3 个方面。此外，本文融合了多达 20 种信息来源，例如技术博客、新浪微博、科技网站以及 随着互联网的飞速发展和计算机的日益普及，信息 各大 BBS 等，使用户不仅可以灵活订阅不同的消息源， 也正在呈爆炸式增长，WWW 已经发展成为包含多种信 并且能够通过不同的平台入口阅读个性化消息并进行评 息资源、站点遍布全球的巨大信息服务网络。与此同时， 分、收藏等多种反馈。本文提出两种平台入口分别是微 新社交媒体越来越流行，可以从中获得大量丰富多彩的 信应用、网站两种，能够更好的适应手机端用户和 PC 信息同时，也带来了严重的“信息过载”问题。推荐系 端用户的需求。 统作为缓解信息过载最有效的方法之一，在社交媒体中 的作用也日趋重要。现有的推荐系统虽然能够给用户进 2 设计目标 行个性化的推荐，但是在用户行为发生变化时却不能很 好的更新推荐结果。 提供实时个性化消息推荐服务，需要解决以下几个 本文针对实时个性化推荐提出了一种解决方案，其 关键问题 ：（1）信息有一定时效性，系统需要获取较新 特色主要体现在实时消息处理、实时用户反馈处理、推 的优质消息 ；（2）系统能够处理并存储爬虫获取的实时 收稿日期 ：2014-10-08 * 基金项目 ：国家 973 计划项目（编号 ：2013CB329102）；国家自然科学基金资助项目（No.; 长江学者和创新团队发展计划资助（编号 ：IRT1049）；教育部科学技术研究重点 ( 重大 ) 项目资助（编号 ：MC；北京高等学 校青年英才计划项目（编号 ：YETP0473）。 78 ·2014年 第11期· 东信北邮信息技术有限公司专