网页分块技术在链接分析中的作用.pdfVIP

摘 要 随着互联网的飞速发展，万维网已经深入到生活的各个方面，如何从海量 数据中得到自己想要的信息成为了目前 Web 研究的重点内容，Web 链接分析技 术是其中一个代表性的研究方向。Web 中的超链接在很大程度上反映了Web 用 户的价值取向以及兴趣爱好，可以看作是对复杂互联网社会的注释，为我们对 Web 结构的研究提供了一个很好的起点。目前 Web 链接技术主要用来进行潜在 社区挖掘以及网页排名。 互联网上的一些页面在讲述相同的主题时，会通过链接关系彼此紧密地联 系在一起，或者被一些公开的 Web 页面所共同引用。这些页面集合被称为 Web 社区。发现 Web 社区可以帮助我们对 Web 的知识性和社会性作评估，社区的组 织形式也为信息检索提供了一种全新的有效的展现形式，用户通过 Web 社区的 展现形式，可以从一个主题很快地迁移到他感兴趣的其他相关主题。现有的一 些社区通常通过人工的方法去维护，但很多有意义的潜在的社区很难完全通过 人工识别出来，因此相应地出现了基于 Web 链接结构的自动化及半自动化的潜 在社区挖掘技术。 HITS 算法是由 Kleinberg 提出的基于 Web 链接结构的网页排名算法。在 HITS 算法中，Kleinberg 根据 Web 结构将网页分为两种：hub 网页和 authority 网页，并指出两者之前存在着相互增强的关系。通过基于邻接矩阵的迭代运算， 可以得到 Web 中高质量的authority 网页。 目前现有的链接分析技术都是以网页为单位进行运算的，在运算过程中，由于 作为 fan 或 hub 的网页自身存在主题多样性，使得所得到的反馈结果可能包含 大量无用信息，或出现主题漂移的现象，在一定程度上影响了反馈结果的质量。 我们对 Web 链接分析技术展开研究，分析了已有的网页级别的链接分析技术的 缺点，进而提出了网页块级别的链接分析技术，将微软提出的 VIPS 网页分块技 术和已有的基于有向二分图的社区挖掘技术以及 HITS 算法相结合，将网页分块 处理之后进行运算，使得反馈结果的主题更加明确。本文的实验数据集合采用 1 了基于HITS 的收集方法进行收集，选择多个常见的主题，并综合了4 个搜索引 擎的结果。本文对反馈结果结合网页 url 以及网页内容进行人工评价，为结果设 定等级，并比较了网页级别和块级别下链接分析技术的反馈结果。实验结果的 分析表明，算法是可行的并且有效的。 关键词: Web 社区；社区；VIPS 算法；HITS 算法 2 Abstract Along with the fast improving of the internet, web is becoming the huge resource of people, how to fastly and exactly get the useful information from the mass data becomes the key point of the web research. The link structure of the web reflects users’ interest and value orientation, also represents a considerable amount of latent human annotation, and offers a promising starting point for structural studies of the Web. Now the link analysis is mainly used to detect the latent web communities and rank th