来自IBM的推荐算法：以Amazon、豆瓣网为例,探索推荐引擎内部的秘密.pdfVIP

来自 IBM 的推荐算法：以 Amazon 、豆瓣网为例，探索推荐引擎内部的秘密 随着 Web 技术的发展，使得内容的创建和分享变得越来越容易。每天都有大量的图片、博客、视频 发布到网上。信息的极度爆炸使得人们找到他们需要的信息将变得越来越难。传统的搜索技术是一 个相对简单的帮助人们找到信息的工具，也广泛的被人们所使用，但搜索引擎并不能完全满足用户 对信息发现的需求，原因一是用户很难用恰当的关键词描述自己的需求，二是基于关键词的信息检 索在很多情况下是不够的。而推荐引擎的出现，使用户获取信息的方式从简单的目标明确的数据的 搜索转换到更高级更符合人们使用习惯的上下文信息更丰富的信息发现。 信息发现 如今已经进入了一个数据爆炸的时代，随着 Web 2.0 的发展， Web 已经变成数据分享的平台， 那么，如何让人们在海量的数据中想要找到他们需要的信息将变得越来越难。 在这样的情形下，搜索引擎（ Google ，Bing ，百度等等）成为大家快速找到目标信息的最好途径。 在用户对自己需求相对明确的时候，用搜索引擎很方便的通过关键字搜索很快的找到自己需要的 信息。但搜索引擎并不能完全满足用户对信息发现的需求，那是因为在很多情况下，用户其实并不 明确自己的需要，或者他们的需求很难用简单的关键字来表述。又或者他们需要更加符合他们个人 口味和喜好的结果，因此出现了推荐系统，与搜索引擎对应，大家也习惯称它为推荐引擎。 随着推荐引擎的出现，用户获取信息的方式从简单的目标明确的数据的搜索转换到更高级更符合人 们使用习惯的信息发现。 如今，随着推荐技术的不断发展，推荐引擎已经在电子商务 (E-commerce ，例如 Amazon ，当当网 ) 和一些基于 social 的社会化站点 ( 包括音乐，电影和图书分享，例如豆瓣， Mtime 等 ) 都取得很大 的成功。这也进一步的说明了， Web2.0 环境下，在面对海量的数据，用户需要这种更加智能的，更 加了解他们需求，口味和喜好的信息发现机制。 推荐引擎 前面介绍了推荐引擎对于现在的 Web2.0 站点的重要意义，这一章我们将讲讲推荐引擎到底是怎么 工作的。推荐引擎利用特殊的信息过滤技术，将不同的物品或内容推荐给可能对它们感兴趣的用户 。 图 1. 推荐引擎工作原理图 图 1 给出了推荐引擎的工作原理图，这里先将推荐引擎看作黑盒，它接受的输入是推荐的数据源， 一般情况下，推荐引擎所需要的数据源包括： 显式的用户反馈能准确的反应用户对物品的真实喜好，但需要用户付出额外的代价，而隐式的用户 行为，通过一些分析和处理，也能反映用户的喜好，只是数据不是很精确，有些行为的分析存在较 大的噪音。但只要选择正确的行为特征，隐式的用户反馈也能得到很好的效果，只是行为特征的选 择可能在不同的应用中有很大的不同，例如在电子商务的网站上，购买行为其实就是一个能很好表 现用户喜好的隐式反馈。 推荐引擎的分类 推荐引擎的分类可以根据很多指标，下面我们一一介绍一下： 推荐引擎是不是为不同的用户推荐不同的数据 根据这个指标，推荐引擎可以分为基于大众行为的推荐引擎和个性化推荐引擎 这是一个最基本的推荐引擎分类，其实大部分人们讨论的推荐引擎都是将个性化的推荐引擎，因为 从根本上说，只有个性化的推荐引擎才是更加智能的信息发现过程。 根据推荐引擎的数据源 其实这里讲的是如何发现数据的相关性，因为大部分推荐引擎的工作原理还是基于物品或者用户的 相似集进行推荐。那么参考图 1 给出的推荐系统原理图，根据不同的数据源发现数据相关性的方法 可以分为以下几种： 根据推荐模型的建立方式 可以想象在海量物品和用户的系统中，推荐引擎的计算量是相当大的，要实现实时的推荐务必需要 建立一个推荐模型，关于推荐模型的建立方式可以分为以下几种： 其实在现在的推荐系统中，很少有只使用了一个推荐策略的推荐引擎，一般都是在不同的场景下使 用不同的推荐策略从而达到最好的推荐效果，例如 Amazon 的推荐，它将基于用户本身历史购买数 据的推荐，和基于用户当前浏览的物品的推荐，以及基于大众喜好的当下比较流行的物品都在不同 的区域推荐给用户，让用户可以从全方位的推荐中找到自己真正感兴趣的物品。 深入推荐机制 这一章的篇幅，将详细介绍各个推荐机制的工作原理，它们的优