基于最大熵模型解决协同过滤稀疏性问题分析-analysis of sparse collaborative filtering based on maximum entropy model.docxVIP

第1章绪论本章着重介绍了论文的选题背景、选题意义、目前推荐系统国内外的研究现状以及本文的研究工作，最后给出了本文的结构。1.1选题背景随着互联网以及电子商务的快速发展，互联网中资源数量也呈指数级增长趋势。据中国互联网络信息中心（CNNIC）数据显示，截至2009年12月，中国的网民数量已经达到3.84亿，与之相对应的互联网普及率亦达到28.9%。据CNNIC另外一份针对国内网络购物市场研究称，截至2009年6月，国内的网上购物用户规模已经达到8788万人，同比增加2459万，年增长率达到38.9%。以上数据充分说明在当今社会，伴随着各类网上购物平台的成熟，越来越多的人们愿意采用网络渠道来进行购物。但用户所面临的问题也就应运而生——用户无法在海量的信息中寻找到最适合自己的商品。同时，对于商家来说，它们也无法在海量的用户中寻找到自己的潜在目标客户。当然，目前的搜索引擎技术在某种程度上可以解决部分问题，但究其根本，仍然无法做到对于每个客户的个性化处理。因为，搜索引擎返回的内容首先对于每个用户内容都是一样的，其次返回的信息量也非常巨大，无论对于用户或是商家来说，这些都是无法接受的。正是在这种背景下，个性化推荐系统应运而生。它首先通过用户在网络中的使用行为挖掘出用户的兴趣偏好，然后再在海量的信息中发现符合用户兴趣的资源，并且做出相应的推荐。其实质上和传统商业中的销售员非常类似，即：通过对客户先前的购买行为进行分析后，然后把商店中符合客户兴趣的商品推荐给客户，帮助其完成购买过程。推荐系统在实际生活中得到了很多研究机构以及学者的关注，同时也诞生了很多推荐系统应用实例：MovieLens:它是由Minnesota大学开发的用来推荐电影的推荐系统。它主要通过浏览器收集用户对于电影的评分以及标记的tag。其最大的作用即在帮助用户寻找自己感兴趣的电影同时，也不定期的公开发布自己的数据集，为全世界各地的研究爱好人员提供公共的原始数据集。A:主要采用的是Item-Item的协同过滤算法。它的最大特点是根据用户已经评分的项目之间找寻相似项目，从而确定目标项目。其主要运算都放在线下，所以在处理大数据集时也有比较快的运算速度，另外由于其推荐算法具有高度的关联性，所以其推荐质量也比较高。豆瓣网：它主要通过用户的收藏以及对于目标项目的评价来计算用户的偏好。其实际应用方式为通过用户当前浏览的网页，推荐出用户可能喜欢的其它项目。从目前来看，推荐系统在电子商务中的应用还是拥有良好的发展前景，并且各大公司也对推荐系统越来越重视。在竞争无比激烈的当下，如果能为目标用户更好的推荐其需要的商品，就能吸引更多的客户，从而提高整个电子商务系统的营销效率，赢得更多的商业利润。1.2选题意义从理论方面来看，基于电子商务的推荐技术具有很高的学术价值。首先，传统的推荐技术主要还是基于用户输入的关键字进行查询然后再利用相应的检索技术给出对应的推荐结果。从个性化程度上来说，这种传统的推荐方法肯定无法满足用户的需求。并且伴随着数据量的日益庞大，关于推荐的自动化程度和持久性方面都是无法逾越的鸿沟。个性化推荐系统是以有着相同兴趣或者消费行为的用户为参考标准，然后利用用户之间的相似性产生最后的推荐结果。这种推荐的模式也符合人们在实际生活中的消费行为：即在购买一个潜在商品前，往往喜欢参考和自己兴趣相同伙伴的购买经验或意见。也正是因为这样，个性化推荐系统成为了当今主流的电子商务网站最喜欢采用的推荐技术，但同时个性化推荐系统还存在着一些系统固有的弊端。例如：评分矩阵的稀疏性；冷启动问题；扩展性问题等。从实际应用方面来看，随着现在网民数量的暴增以及网购行为的日益普遍，其带来的最直接问题就是垃圾信息越来越多。用户无法再海量的信息中找寻到最适合自己的商品。此时，个性化推荐系统可以帮助用户在最短的时间中获得最适合的目标商品，与此同时也可以帮助商家在最短的时间内为用户推荐用户最有可能购买的商品，也即充分挖掘了用户的潜在购买力，并且如果商家能够成功的为用户推荐商品，也直接为商家建立了和用户之间的一个信任度。从某个层面上来说，也改变了过往都是“人找信息”的局面，演变成“信息找人”，为用户节约了精力和物力，也让电子商务更加赢得用户的青睐。1.3研究现状和挑战研究现状根据采用推荐的算法不同，推荐系统可以简单分为：基于关联规则（Rule-based）的推荐系统、基于内容（Content-based）过滤的推荐系统、协同过滤（Collaborativefiltering）推荐系统和混合（Hybrid）推荐系统。基于关联规则的推荐系统由于非常耗时，所以一般采用离线进行，具体的算法如：Apriori、FP-tree,HP等。推荐系统主要根据用户输入的兴趣信息和系统规则库中已有的规则来给用户提供推荐服务。目前做的比较成熟的基于关联规