垂直搜索引擎的主题网页抓取策略研究-计算机应用技术专业论文.docxVIP

摘 要 随着计算机网络技术的飞速发展，互联网已成为海量信息的主要载体，如何有 效的利用这些信息，对人们来说是一个巨大的挑战。搜索引擎作为信息检索的工具， 现已成为用户访问互联网的入口和指南并受到广大用户的青睐。然而，传统的搜索 引擎正面临着网页索引规模、更新速度、个性化需求和查询结果精度低等多方面的 严峻挑战。为解决传统搜索引擎所面临的突出问题，面向特定主题的垂直搜索引擎 便应运而生。主题网页抓取技术是构建垂直搜索引擎的核心技术，它的目标是尽可 能多地抓取与特定主题内容相关的网页，同时最大限度地避免无关网页的抓取。因 此，对主题网页抓取策略的研究具有十分重要的意义。 本文主要以垂直搜索引擎的主题网页抓取策略作为研究内容，从提高主题网页 抓取的准确率和效率作为出发点，详细分析了现有的主题网页抓取方法及其优缺 点。重点分析了基于隐马尔科夫模型的主题网页抓取策略的实现和优缺点，以此为 基础，提出了一种改进的主题网页抓取策略。为了使特征词权重更能代表网页的真 实内容，改进了网页预处理后的特征词权重的计算方式，对网页中不同位置的特征 词赋予不同的权重。为了提高主题网页抓取的准确率，改进了待爬行队列中URL优 先权值的计算方法，综合考虑了隐马尔科夫模型方法和网页内容相关度方法。 为了验证改进算法的性能和效率，本文将改进后的方法与隐马尔科夫方法和 Best-First方法进行对比，实验结果表明，在抓取大量主题网页时，改进后的方法能 抓取大量与给定主题相关的高质量网页，主题爬行性能优于改进前的隐马尔科夫方 法和Best-First方法。 关键词：主题网页抓取；隐马尔科夫模型；向量空间模型；主题相关度；垂直搜索 引擎 Abstract With the rapid development of computer network technology, the World Wide Web has become the carrier of the mass of information, how to efficiently use the information is considered as a huge challenge for people. Search engine as a tool for information retrieval, it has become the guide and entrance to the user to access the World Wide Web since its birth after the rapid development. However, traditional search engines are facing with the size of the web index, the speed of the individual needs and inaccurate query result and many other serious challenges. In order to solve the problems, vertical search engine became one of the hotspots of a new generation of search engines. The specific topic web page crawler technology is the core technology to construct vertical search engine, and its goal is to crawl the web pages related to a specific topic as much as possible while maximizing avoid irrelevant web pages to download. In this paper, set the theme webpage crawl strategy of the vertical search engine as the research content, to improve the rate and efficiency of the theme webpage crawl, detailed analysis the advantages and disadvantages of the existing theme webpage crawl. Analyze the realization and the advantages and disadvantages of the theme webpage cr