Web页面的相关性的研究.pdfVIP

Web页面的相关性研究 丁波涛董慧 (武汉大学传播与信息学院，武汉430072) 摘要 奉文从文档特征、超链接、统一内容定位和检索四十角度对Web页面的帽关性进行了 撵讨，其中厩有国内外已取得的成果，也有笔者的一些设想，井对四种方法的优缺点作了简单的比 较分析。 关t词 Intenm腭页相关性 jIilll，lf，f}tf．t￡hI，●t#‘I}■k●{{． and Botao DuJlg DoMHui r靶．hod of西∞幽咖aml抽和州婚^Fu,lhA‰n峨吼岫430072) 1 引言 随着Interact的迅速发展，髓上信息资源的数量呈鼻炸性增长趋势。但另一方面，网上信 息组织的无序性也越来越成为一个突出问题。它给人们进一步利用网络资源带来了障碍。 web页面的相关性研究就是研究Interact上各个web页面之问的关系，发掘它们的相互联 系，以更好地组织、利用网络资源。 攮括起来，web页面的相关性研究的作用主要有以下几点： 《1)改变现在Internet上信息组织的无序状态，通过对各个Web页面的相互关系的研究，可 以对多种媒体进行分类、排序，甚至可以将它们与传统媒体如期刊、杂志一起进行统一缩目。 (2)应用于搜索引擎，可提高搜索引擎的查全率与查准率，大大改进搜索引擎的性能。 (3)在智能代理检索中，运用同页的相关性，可以增加搜索的自动化程度，使检索更加方 便快挺，罚时还蕾针对用户的性格、必趣和爱好实现人格化、个性化的搜索。 2 研究页面相关性的四种方法 ▲1 量过文篙转氍研究相关性 为比较两十页面，我们可以将这两个页面看作两个文档，通过分析它们的文档特征来辫 新它t丁的互相关系。我们把这种比较两者之闻相互关系的研究叫。相关性研究。。目前量常用 的文档特征表示方法是Sa]．ton和McGill刨立的向量表示方法。 假设有一个文档集合，它由所有页面和文档构成，另有—个字典向量，它包食了文档集中 收藕日期：1999年12月29日 作者简介：丁蕾膏男，1977年生。武汉大学传播与信息学院疆士研究生。专生方向：信息景坑的开发环境 与开盘工兵。t t。男。1941年生，武汉大学信息警理系敷授、囊主任、软件工程曩蠢重点实姓客奎研究 员。从事较件开生环境与工具、f理倍^款件体系培相和信●检索豹t拳科爱工作。 增刊 w由页面的相关性研究 出现的所有单词。每个文档可以表示成一个向量V，其长度是字典中包含的单词的个数。向量 元Vi是文档中单词W；的权值。权值的计算方法是，如文挡中没有单词W；时m=0．若单词元 W。存在于文档中，则它的权值等于词频乘以逆文档词额，即： vj=if(i)‘log亩 其中旺(i)表示单词wi在某个文档中出现的次数．df(i)表示是文档集中台有单词W。的文 档的个数，而n则是文档集中的文档个数，vj计算叫d·idf方法。 每一个文档都表示成一个这样的向量，两个文档的相似度可以用文档向量V与文档向量 U的点积或余弦相似度表示，这两种相似度的计算如下： V·U=∑v．·ll】 i，_ V．TI c∞(v，U)=7写=·二—二7i=P一 、／∑viz·、／∑u。2 i—L iol 两十文档在多大程度上相关。 土2 通过簋接毫研究相关性 Internet上信息组织的一大特点