2 网络信息抓取策略.doc

本科生毕业论文 （申请学士学位） 论文题目 网络信息自动抓取的技术探讨 作者姓名 王瑞 学科、专业名称 信息管理与信息系统 指导教师 邓三鸿 二 0 一0 年 十二 月 摘要 随着网络海量信息的不断增加，人们有了更多的可以获取的信息源，但人们要从这几乎是无限的信息中获取自己所需的信息的难度也在增加。为了能从网络中检索到自己所需的信息，网络搜索引擎应运而生。作为为网络搜索引擎提供数据索引源的网络信息自动抓取（网络爬虫）技术，也正成为人们不断研究和探索的前沿课题。 本文主要研究了从网络自动抓取信息的网络爬虫技术。从如何获取数据、如何解析网页、如何存储网页信息、如何更新网页以及网站对网络爬虫的支持等方面进行了论述。 关键词：网络爬虫、网络蜘蛛、信息抓取。 Abstract With the growing mass of network information, people now have more accessible information sources. Yet the difficulty of seeking useful information from these almost unlimited sources is increasing simultaneously. In order to retrieve useful information from the network, web search engines came into being. Automatic Capture of Information Technology (web crawler), known as providing data Index source to web search engine, is becoming the advanced field in the research and exploration. This article studies the Automatic Capture of Information Technology in many aspects, like how to get data, how to parse the web pages, how to store the information of web pages, how to update web pages, and the websites’ support to web crawler, etc. Keywords: web crawler, web spider, information capture. 目录 1 网络信息抓取概述 3 1.1 网络信息抓取的作用 3 1.2 网络信息抓取技术目前的进展 3 1.3 本文主要内容 5 2 网络信息抓取策略 5 2.1 广度优先 5 2.2 深度优先 6 2.3 网络爬虫检索贪婪性解决方法 7 2.4 “立即回报”价值和“未来回报”价值的计算方法。 8 3 网站对网络爬虫的支持与约束 9 3.1 访问权限管理 9 3.2 robots.txt文件概述 10 3.3 Robots Meta标签 11 4 网页解析 12 4.1 提取网页关键字（key words）。 12 4.2 提取网页链接 13 5 静态网页与动态网页的信息获取 14 5.1 静态网页信息获取 14 5.2 动态网页信息获取 14 6 网页存储与网页更新 15 6.1 网页存储 15 6.2 更新策略及实现 16 7 系统实现 16 8 结论 19 参考文献 19 致谢 20 网络信息抓取概述 网络信息抓取的作用 随着internet的迅速发展，网络信息不断膨胀，网络在给人们带来丰富的网络信息的同时，也使人们想在浩如烟海的internet信息中快速、准确的查找所需的信息变的困难和复杂。为了便于人们对internet中的信息进行查询、检索，网络搜索引擎应运而生。搜索引擎通过对网络上的信息建立相应的索引，方便人们对网络信息的检索。然而，搜索引擎的所有工作都是建立在网络信息的基础之上的。没有可供建立索引的数据，也就不能为这些数据建立索引。这就需要我们为搜索引擎提供一个可供使用的数据源。这就是网络信息抓取所要完成的工作。 网络信息抓取主要完成以下几个方面的工作： 将网络上的信息按照某种抓取策略抓取到本地，以供搜索引擎作为信息检索的源数据。 抓取到的信息在本地的存储。 对本地已存在的信息进行更新，使其于internet上当前UR