超链接环境下的权威资源.docVIP

超链接环境下的权威资源 1 引言 超链接的网络结构是一个有丰富资源的环境内容信息，它提供给我们一个有效的方法让我们去理解它。在这种情况下，我们针对这种环境下的链接结构开发了一系列的算法工具从中分离信息，并通过在试验中报告和说明它们在万维网中的多种多样内容中的有效作用。我们尤其关注它在一个广阔的搜索主题中分析和搜集相关网页以及发现最权威网页时链接的使用。 对于万维网，当我们不缺乏技术的时候，我们发现搜索和结构分析的问题在区域上下文中尤其重要。万维网是一个巨大而复杂的超文本资料库，它同时在以惊人的速度持续扩展着。更甚者，它可以看做一个错综复杂的超媒体结构。它同时有数以百万计的在线参与者，这些参与者们有着多种多样互相冲突的目标，同时他们还在不断的创造超链接内容。所以，当每个人都在以一种极端的本地层次强制整理信息时，全局的组织已经完全的改变了——上层的结构只能通过之后的分析才能浮现出来。 我们的工作就是源于万维网上的搜索问题。我们可以粗糙的定义为一个过程——给出查询，提供相关的网页。由于相关性是主观存在的，所以搜索方法的质量需要人类来评估。我们是从观察万维网上提高搜索方法的质量开始的。在现阶段，一个丰富而有趣的问题是在很多方式中，它们算法的有效性和存储性是互不相关的。尤其是现在的搜索引擎都是典型的只搜索万维网上的一定大小的内容的搜索引擎，同时响应还是秒级别的。尽管可以提高响应时间来换取对于用户来说更重要的结果，但是对于搜索工具来说，用额外的时间来进行计算，这是非常不可行的。准确的说，我们缺乏一种具体定义的功能，这种功能客观上应满足我们想要搜索到的页面的质量。 查询和权威资源。我们认为搜索是开始于用户提供的查询的。它不需要查询的统一概念性的视图；且它不止是一种查询，它需要运用不同的技术来处理。思考一下，比如说，有下面几种查询： 特定查询，如“网景是否支持JDK 1.1代码签名的API（应用程序接口）？” 广泛主题查询，如“找到关于JAVA编程语言的信息” 相似页面查询，如“找到与相似的页面” 我们现在专注前两种类型的查询，我们可以看到它们现在又很多不同种类的障碍。处理特定查询时的困难是集中的，粗略地说，是围绕所说的稀缺问题的。有极少的页面包含这些所需的信息，并且通常很难确定这些页面的真正来源。 对于广泛主题查询，另一方面，我们期待在万维网上找到数以千计的相关页面。这样的一组页面可能通过标引项匹配（如输入一个字符串“Gates”，“search engines”，“censorship”到搜索引擎AltaVista[17]），或者更复杂的方式产生。因此，这并不是一个稀缺问题，相反，其基本困难在于丰度问题：可以作为相关页面合理地返回的页面数目太大，以至于人们很难消化。在这些条件下，为了提供有效的搜索方法，就需要一种方法，从巨大的相关网页集合中筛选出最“权威”或“彻底”的那些。 我们对于广泛主题的查询，可以将权威这一概念，作为我们工作中的中心焦点。我们在处理这一问题所面临的基本障碍之一是准确地模型化在特定的查询主题上下文中的权威网页。鉴于某一网页，我们如何辨别其权威？ 讨论一些在这里出现的复杂难懂的问题是很有用的。首先，考虑报告的自然目标，即哈佛大学主页为查询“哈佛”的最权威页面之一。不幸的是，在万维网上有超过 100 万的网页使用了目标词 “Harvard”。同时 不是最常使用的，或者使用最突出的，或者以任何其他方式支持一种基于文本的排序函数。事实上，一个疑问是，是否存在一个纯粹的内源性措施去适当地评估一个页面的权威。第二个问题是找到主要的www 搜索引擎的主页。我们可以从查询“搜索引擎”开始，但是这存在一个困难，事实上很多权威网站（雅虎，Excite，AltaVista） 都没有在其页面上使用这个词。这是一个基本的和重复出现的现象 ——另一个例子，我们就没有理由指望本田或丰田的主页包含术语“汽车制造商”。 链接结构分析。万维网的网页之间的超链接结构分析，给了我们一个方式来处理许多上文讨论过的困难。超链接隐含了大量潜在的人为判断，我们认为这种类型的判断正是我们制定一个权威的概念所需要的。具体来说，万维网上链接的建立是以下判断类型的具体表现：页 p，通过包括页面 q的链接，就可以在在某种程度上赋予 页面q 的权威性。此外，链接通过指向它们页面，让我们完全有机会找到潜在的权威性的东西 ；针对很多突出的页面没有充足地自我描述的网页，这种方式围绕着以上的问题提供了一种方法。 当然，这种情况下，有大量的链接的应用程序中有很多的潜在缺陷。首先，针对各种各样的原因创建的链接，其中有很多与权威性无关。例如，主要用于导航目的而创建大量的链接（ “点击此处返回到主菜单”） ；其他表示的付费的广告。 另一个问题是很难找到相关性和流行性标准之间的适当的平衡，而这