基于微博的用户分析与个性化推荐系统.doc

1. 概念及应用背景 1.1 本文研究内容 在过去的几年时间里，无论从用户数量还是内容数量来看，互联网都经历了爆炸式的增长。人们逐渐从信息匮乏时代过渡到了信息过载（information overload）时代。无论作为想获取信息的普通用户，还是作为产生信息的内容提供商或产品提供商，都面临着新的挑战。作为普通用户，他们希望有一种从海量信息中方便实时快速地获取有用的信息的方式。而作为内容或产品提供商，他们希望把自己的信息及时准确地传播给希望接收这些信息的目标群体。 用户获取信息的方式经历了如下几个阶段：从原始靠人工记忆各种网站，并且人工查找所需的信息，推出了按类别对网站进行分类以方便用户查询，再到近年来以 为代表的搜索引擎的出现。虽然搜索引擎极大地方便了人们获取信息的方式，但是依然存在不足。比如，当用户无法用一些关键词准确描述自己的需求时，搜索引擎就无能为力了。而且对于互联网信息的内容提供商来说，搜索引擎也不能帮助他们主动地把自己的内容传播给目标人群。推荐系统的出现弥补了搜索引擎的不足。从用户的角度出发，搜索引擎是一个 拉 （pull）模型，即用户主动地查找自己感兴趣的信息，而推荐系统是一个 推 （push）模型，即系统根据用户的历史行为记录，推荐新的信息给用户。 一个好的推荐系统，非常重要的一步就是对用户的兴趣进行建模 。常用的方法是根据用户的历史行为数据对用户兴趣进行建模。用户的历史行为数据可以是用户的在线购买记录，搜索记录等。这些数据存在许多缺点。首先，数据的形式比较单一，只能反应用户的购买喜好，或者搜索喜好，并不能全面地描述用户的兴趣。其次，这些数据更新缓慢，反应的是用户过去的兴趣。而我们相信，用户的兴趣可能是经常变化的。而且对于一个新的用户，在没有历史行为数据的情况下，推荐系统就无法正常工作，这也称为冷启动（cold start）问题 。另外一种获取用户兴趣的方式是让用户直接输入一些关键词列表来描述用户的兴趣。但是通常情况下，用户并不愿意参与其中。并且，用户可能不能完整地描述自己的兴趣。另外，由于用户的兴趣会随时间经常变化，这就需要用户不停地更新关键词列表。这些局限性大大降低了用户体验，也会影响推荐系统的质量。 微博作为一种新兴的社交网络和信息分享、传播方式，在最近几年变得尤为流行。常用的微博服务，比如国外的 ，国内的新浪微博，腾讯微博等，都有上亿的注册用户。 最初的理念就是，让用户能够更加简单地与好友、家人分享自己正在做什么 。实际中，用户不仅使用微博发布 我正在做什么 之类的信息，还用它来与好友交流，转播突发的一些新闻事件，对某件事发表自己的观点，甚至在危险的时候作为一种求救的方式 。微博更像是传统博客与社交网络的一个结合体。微博服务的一个重要特性就是它的实时性。比如，传统的博客用户可能每过几天会更新一次博客的内容。而微博用户经常会在一天内发布多条微博内容。而且用户发布的微博内容大部分都是跟用户每天的活动相关。因此，微博内容可以被看做是基于人的信息聚合种子（RSS Feed） 。微博的这些特性让我们有了新的途径去获取用户的实时兴趣。与传统的获取用户兴趣的方法相比，微博提供了更海量，更实时的数据。如何有效地从用户的微博数据中挖掘出用户的实时兴趣，对于提高个性化推荐的质量，提高用户体验，都具有重要意义。 1.2 本文研究内容 本文主要对从微博数据集上分析用户兴趣并进行个性化推荐的过程中的一 些关键问题进行分析和探索： 1.2.1 使用外部知识库对微博文本进行语义丰富 针对微博文本内容都比较短，语义信息不够充分的特点，我们提出使用在外部知识库上建立的主题模型分析微博内容，从而对短文本的微博内容进行语义上的丰富。这样也避免了直接在微博数据上构建主题模型时，主题数目不容易确定的缺点。 1.2.2 过滤不能体现用户兴趣的微博 用户使用微博的目的多样，因此并不是每条微博都能体现用户兴趣。那些不能体现用户兴趣的微博，会对基于词袋的模型，包括主题模型等，产生负面的影响。我们称这些微博为噪音微博。我们从多个方面分析了识别一条微博是否是噪音微博的特征，并使用朴素贝叶斯分类器和支持向量机分类器过滤掉这些噪音微博。 1.2.3 用时间加权的主题分布表示用户兴趣 我们认为用户的兴趣并不是一成不变的，而是随时间变化的。因此，我们在用户兴趣的表达上，加上的时间的维度。并基于此描述了分析用户兴趣及个性化推荐的方法。 2. 基于微博的用户兴趣分析及信息推荐方法研究 2．1概述 微博服务作为目前主流的信息传播媒介，越来越多的用户每天在上面发布自己的状态，分享信息，表达自己的观点、想法和意图。这使得微博服务成为一个有用的、信息量巨大的数据源，用来挖掘分析用户的兴趣。根据从微博数据中分析得到的用户兴趣，我们可以给用户推荐他们感兴趣的新闻、团购信息等。 本文