基于VSM主题爬虫爬行策略的研究.pdfVIP

2014 年第 2 期 信息通信 2014 （总第 134 期 INFORMATION COMMUNICATIONS （Sum. No 134 基于VSM 主题爬虫爬行策略的研究 张 锦，罗 钊 兰州交通大学电信学院，甘肃兰州730070 ） 要：网络爬虫作为搜索引擎重要的组成部分，其抓取网页资源主题相关性的高低直接决定爬虫性能的好坏。文章在 VSM 模型的基础上引入关键词的同义、继承、属性等关系的相关词汇来增强VSM 模型的语义，通过实验进行验证，改进 能够取得较好的抓取效果。 关键词：主题爬虫；爬行；V SM 中图分类号：TP391 文献标识码：A 文章编号：1673-1131（2014 ）02-0037-02 0 引言 VSM 即向量空间模型的基本思想是：利用文本中词与词 之间的不相关性，使用向量来表示文本，这样的话就简化了模 随着互联网的快速发展，网络上的信息量也急速增加。传 型的复杂性。在V SM 模型中，每 篇文档都是由词组成的（,,, 统的搜索引擎已经不可能提供给用户既全面又具有专业深度 …, , 根据不同的词在文档中的重要程度，对其赋予 定的权 的服务了，垂直搜索引擎应运而生。主题网络爬虫作为垂直 值，每一个词对应一个权值，这样用横坐标表示，纵坐标表示， 搜索引擎的抓取模块，负责搜集网上的网页信息。主题爬虫 经过把（,,, …, 进行分解，得到的正交此条的矢量组就构成了 的好坏直接影响着搜索引擎的服务质量，故作为搜索引擎的 表示该文档的向量空间。 重要组成部分，尤其值得去研究和改进。 主题爬行是在预定主题的指导下最大限度地在网络上搜 1 改进的VSM [ ] 索、抓取与主题相关的网页，并尽量避免爬行不相关的网页1 由于传统VSM 的无语义性，本文引入关键词的同义、继 [ ，] 通用爬虫主要用于通用搜索引擎中，它的目的是尽可能多地 3 4 承、属性等关系的相关词汇来增加VSM 的语义性 。一个完 覆盖网络中的页面， 般采用广度优先算法。而主题爬虫常 善的领域本体是最好的主题描述。在本体中，通过概念的同 用在垂直搜索引擎中，它的目标是尽可能多地搜集与给定主 义、继承、属性等关系对主题进行描述，这样对主题词的语义 题相关的网页，使得到的主题资源更专业更全面，从而能够更 有了好的概括。 好地为网