大数据与推荐系统.docVIP

大数据与推荐系统收稿时间： 收稿时间：?2015-08-11 国家基础研究发展计划（973计划）（No.2014CB340402），国家高技术研究发展计划(863计划)(No.2014AA015204)，国家自然科学基金，国家社科基金（12ZD220），国家高等学校学科创新引智计划（111计划）等资助 李翠平 蓝梦微 邹本友 王绍卿 赵衎衎 数据工程与知识工程教育部重点实验室，中国人民大学，北京 100872 摘 要：随着大数据时代的来临，网络中的信息量呈现指数式增长，随之带来了信息过载问题。推荐系统是解决信息过载的最有效的方式之一，大数据推荐系统已经逐渐成为信息领域的研究热点。介绍了推荐系统的产生及其在大数据时代的发展现状、推荐系统的领域需求和系统架构、大数据环境下推荐系统的特点挑战及其关键技术，开源的大数据推荐软件，大数据推荐系统研究面临的问题，最后探讨了大数据推荐系统的未来发展趋势。 关键词：大数据；推荐系统；协同过滤 Big Data and Recommendation System Abstract: In big data era, recommendation system is the key means to tackle the issue of information overload. Recommendation system has been widely applied to many domains. The most typical and promising domain is the e-commence. Recently, with the rapid development of e-commence, recommendation system becomes more and more important and is promoted as a hot research field. In this paper, we introduce the history and development of recommendation system, its domain requirements and system architecture, its characteristics and challenges under big data environment, its key techniques, open source big data recommendation systems. And at last, we discuss the open research problems and future trends of bid data recommendation system. Key words: big data, recommendation system, collaborative filtering 1 推荐系统与网络大数据 随着科技与信息技术的迅猛发展，社会进入了一个全新的高度信息化的时代，互联网无处不在，影响了人类生活的方方面面并彻底改变了人们的生活方式。尤其是进入web2.0时代以来 ，随着社会化网络媒体的异军突起，互联网用户既是网络信息的消费者也是网络内容的生产者，互联网中的信息量呈指数级增长。由于用户的辨别能力有限，在面对庞大且复杂的互联网信息时往往感到无从下手，使得在互联网中找寻有用的信息的成本巨大，产生了所谓的“信息过载”问题。 搜索引擎和推荐系统的产生为解决“信息过载”问题提供了非常重要的技术手段。对于搜索引擎来说，用户在搜索互联网中的信息时，需要在搜索引擎中输入“查询关键字”，搜索引擎根据用户的输入，在系统后台进行信息匹配，将与用户的查询相关的信息展示给用户。但是，如果用户无法想到准确描述自己需求的关键词，此时搜索引擎就无能为力了。和搜索引擎不同，推荐系统不需要用户提供明确的需求，而是通过分析用户的历史行为来对用户的兴趣进行建模，从而主动给用户推荐可能满足他们兴趣和需求的信息。因此，搜索引擎和推荐系统对用户来说是两个互补的工具，前者是主动的，而后者是被动的。 近几年以来，电子商务蓬勃发展，推荐系统在互联网中的优势地位也越来越明显。在国际方面，比较著名的电子商务网站有Amazon和ebay，其中Amazon平台中采用的推荐算法被认为是非常成功的。在国内，比较大型的电子商务平台网站有淘宝（包括天猫），京东商城，当当网，苏宁易购等。在这些电子商务平台中，网站提供的商品数量不计其数，网站中的用户规模也非常巨大。据不完全统计，天猫商城中的商品数量已经超过了4千万