基于词汇相关度的个性化搜索算法.pdfVIP

基于词汇相关度的个性化搜索算法1 1,2 1,2 ,1 1,2 谭振华 ，程维 ，常桂然 ，高晓兴 1东北大学信息科学与工程学院，沈阳（110004 ） 2东北大学软件学院，沈阳（110004 ） E-mail：tanzhenhua192@126.com 摘 要：本文提出了一种基于词汇相关度的个性化搜索算法。提出使用词汇之间的“相关度” 来存储单个用户的个性化信息，并提出了能够在用户进行检索的过程中利用用户偏好自动建 立针对该用户的“词汇相关度网”的方法，以及三种不同的利用词汇相关度对底层搜索引擎所 返回的结果进行重新评估并进行个性化排序的策略。 关键词：信息检索，个性化，词汇相关度 1．引言 普通的Web 搜索引擎，由于其使用的页面评估技术并不考虑各个不同用户的使用习惯 和偏好，导致搜索结果中的绝大多数文档内容不是用户所需要的，查准率和查全率都无法达 到用户的要求。对这个问题的一种解决办法就是建立个性化的Web 搜索引擎。所谓的“个性 化”，也就是搜索引擎会根据单个用户的习惯自动调整自己的设置，以使检索结果尽量满足 该用户的需求。从某种意义上说，个性化搜索引擎就好像为每一个用户单独量身定做了一个 搜索引擎。 本文中提出使用词汇之间的“相关度”来存储特定用户的个性化信息。并提出了能够在用 户进行检索的过程中自动建立针对该用户的“词汇相关度网” 的方法，以及3 种不同的利用词 汇相关度对底层搜索引擎所返回的结果进行重新评估并进行个性化排序的策略。最后我们设 计了基于词汇相关度的个性化元搜索引擎的原型系统。 2 ．相关工作 目前对个性化信息检索技术的研究比较很广泛，已经出现了很多关于个性化搜索的服 [3,4] [1] 务系统 ，提出了很多思路以及实现。如：在文献 中，提出了一种基于智能代理（Intelligent [2] Agent ）技术的智能化信息检索体系结构；文献 中所提到的Autonomy智能代理系统使用神 经元网络来识别信息模式；文献[9]提出了对Yahoo进行基于层次聚类式重组和检索方式的改 造方法，并实现了基于特征矢量空间模式检索方法。 [5,6] 个性化搜索引擎一般都基于元搜索引擎来进行个性化服务。元搜索引擎 指的是搜索 引擎之上的搜索引擎，可以将用户的检索词转发给多个底层的搜索引擎，使用户不必直接跟 底层的各个搜索引擎交互，相当于增加了搜索引擎的信息覆盖面。 搜索引擎中最关键的部分是文档建模技术，目前的众多文本模型一般可以分为向量空间 模型、布尔逻辑模型和概率推理模型[11] 。人们普遍认为向量空间模型是一种非常有效的文本 模型[7] 。它使用一个多维的向量来表示一个文档，每一个维度对应于文档中的一个关键词， 维度上的值是对应关键字的权值。只要通过某种策略计算出每一个字项的权值，就可以将文 档D表示成一个向量。这里假设每一个字项的权值分别用W 、W 、W ……W 表示，则文档 1 2 3 m D 的向量表示为： D= （W , W , W ,…, W ） 1 2 3 m 但是，向量空间模型有一个固有的缺点，即假设所有的索引项都是独立的，而事实上信 1本课题得到高等学校博士学科点专项科研基金（项目编号：20030145017 ）的资助。 - 1 -