推荐系统综合仿真平台执行容器的分析与实现-analysis and implementation of the execution container of the comprehensive simulation platform of recommendation system.docxVIP

摘要 摘要 I I 摘 要 互联网技术的发展极大推动了人们与网络互动的频率，从而导致网络交互中的 数据量成倍增长，大数据量的产生同时也造成信息过载这一严峻问题。诸多工具 被开发用于协助检索、搜索和过滤来解决信息过载问题，但这些工具更倾向于提 供过多无价值的信息，推荐系统的诞生就是为了克服这一局限性。推荐系统在众 多资源中筛选中用户可能感兴趣的物品或信息，但也存在局限性，现有的某个推 荐系统一般只包含一类的推荐算法，在特定的条件下发挥很好的作用，但并不适 用其他条件。本文提出一种设计方案，实现一个推荐系统仿真平台，能够模拟自 由插拔各类型算法，实现多种算法共存机制，并提供各类算法对应的各类数据集， 最后能够对运用环境具有自适应性，自动检测并选择合适的算法。 本文着眼于推荐系统综合仿真平台的执行引擎对多种算法的适配，以及其可 扩展性进行设计分析并实现。首先对推荐系统的发展现状进行了总结，并对构建 推荐系统仿真平台的相关技术进行研究与分析，研究了并行计算、集群管理以及 当前比较流行的分布式框架。然后针对该仿真平台的实际需求，重点针对执行引 擎进行了详细需求分析；根据整体需求设计出整体架构，分解出算法执行体容器 和执行体配置工具，分别对其关键功能进行详细设计，最后实现这一多种推荐算 法共存且可自由插拔的推荐仿真平台。 本文提出的推荐系统综合仿真平台的先进性在于以下几个方面： （1） 该仿真平台的执行容器是基于分布式框架 Fourinone 进行搭建，充分利 用 Fourinone 已有框架，并根据该仿真平台的实际需求添加相应功能，具有个性化 的功能设计；采用分布式并行计算处理，在执行计算处理效率上比起单机运行有 显著提升。 （2） 该仿真平台执行引擎的算法库默认存储多个类型的算法，并且算法可 根据用户需要进行自由插拔，实现多种推荐算法共存机制，并提供不同算法对应 的数据集供调用，并能对算法执行质量进行评估。 （3） 该仿真平台对执行任务服务器采用集群管理机制和多种监控机制，集 群管理中采用心跳监控机制对集群中其他服务器进行跟踪监控，分配任务服务器 对执行任务服务器进行执行进度监控，并向用户反馈执行进度情况。 关键词：推荐系统，并行计算，集群管理，Fourinone ABSTRACT ABSTRACT II II ABSTRACT Development of Internet technology has greatly promoted the way people interact with the network frequency, causing the amount of data in the network interactions exponentially, large amount of data generated also cause this serious problem of information overload. Many tools have been developed to assist in retrieving, searching, and filtering to solve the information overload problem, but these tools are more likely to provide much worthless information, and recommender systems is to overcome this limitation. Recommender systems filters in many resource materials or information users might be interested in, but there are limitations, existing recommender systems generally contain only a recommendation algorithm for a class, play a good role under certain conditions, but it does not apply to other conditions. This thesis presents a design scheme to implement a recommender systems simulation platform can simulate various types of algorithms freedom spots, a variety of algorithms to achieve coexistence mecha