多维度可扩展推荐引擎框架的设计与应用-软件工程专业论文.docxVIP

Classified Index: TP311.5 U.D.C.: 004.8 Dissertation for the Master’s Degree in Engineering DESIGN AND APPLICATION ON THE SCALABLE MULTI-DIMENSIONAL RECOMMENDATION ENGINE FRAMEWORK Candidate: Liu Jing Supervisor: Professor Ma Peijun Associate Supervisor: Engineer Zhao Chenting Academic Degree Applied for: Master of Engineering Speciality: Software Engineering Affiliation: School of Software Date of Defence: June, 2013 Degree-Conferring-Institution: Harbin Institute of Technology 哈尔滨工业大学工程硕士学位论文 哈尔滨工业大学工程硕士学位论文 - - I - 摘 要 随着 Web 2.0、信息技术的发展与网络媒介例如平板电脑以及智能手机的普 及，人们已经从一个信息匮乏的时代迈向了信息呈爆炸式增长的时代，每天都会 有铺天盖地的信息涌现在网络、手机上。显然，我们已经进入了大数据时代。与 信息匮乏的时代相比，虽然选择多了，但是如何从信息的海洋中迅速定位有价值 和感兴趣的信息，对于信息消费者是一个不小的挑战；同时对于信息生产者，如 何把信息推送给合适的消费者，扩大信息辐射面，也是一件不简单的事情。为了 解决信息过载给信息生产者和信息消费者带来的困扰，个性化推荐系统应运而生。 推荐系统通过分析用户的历史行为数据建立起用户对信息偏好模型，从而将 用户与信息联系起来。推荐系统能够主动将信息推送给对其感兴趣的用户，这样 用户也能从推荐系统中得到感兴趣的信息，从而使信息消费者能够从信息的海洋 中迅速获取感兴趣的信息。 本课题的主要研究内容是实现一个支持多维度、灵活可扩展的推荐引擎框 架。根据推荐引擎的原理，推荐引擎包括推荐算法、相似度计算、推荐过滤三个 核心组件。本文的推荐算法选择在工业界和学术界广泛使用的协同过滤推荐算法； 相似度计算主要包括杰卡德相似度、余弦相似度、欧几里德距离相似度、皮尔逊 相似度四种算法，以适用于不同的应用场景；推荐过滤主要实现了用户行为过滤、 物品平均分过滤、地理位置过滤三种过滤方式以提高推荐系统在不同场景下的准 确性。本课题的多维度主要体现在简单的用户，物品，评分数据模型基础之上， 引入了时间序列与地理位置两个上下文维度，时间序列主要通过时间衰减函数来 平衡时间对相似度计算与兴趣度计算的影响；而地理位置主要通过计算物品之间 的距离来实现推荐结果过滤。 推荐引擎框架的实现基于简单易用的 Hadoop Map Reduce 分布式编程框架， 底层文件存储为 Hadoop 分布式文件系统。 本框架现已应用于航班预定系统，根据用户的历史预定酒店信息给其推荐感 兴趣的酒店。为了适应该系统的需求，增加了推荐结果解析，并将结果保存在数 据库中，以更友好的形式与航班预定系统集成。 关键词：分布式框架；推荐引擎；协同过滤；相似度计算；时间序列 - - II - Abstract With the development of Web 2.0 , information technology and the ubiquitous network media like tablet PCs and smart phones, people have been from a lack information era towards the era of information explosion, in which there are overwhelming message sprang up on the network and phone every day. Obviously, we have entered the era of big data. Compared with the era lack of information, although there are more choices, it is a great challenge for the information consumers to locate the valuable and interesting information quickly from the informat