信息检索专业论文-网页数据抓取.docVIP

网页数据抓取 摘要 网页数据抓取是通过分析网页的HTML代码, 获取网内的超级链接信息, 使用广度优先搜索算法和增量存储算法,实现自动地连续分析链接、抓取文件、处理和保存数据的过程. 系统在再次运行中通过应用属性对比技术, 在一定程度上避免了对网页的重复分析和采集, 提高了信息的更新速度和全部搜索率。 由于网站内的资源常常分布在网内不同的机器上, 数据抓取系统从某个给定的网址出发, 根据网页中提供的超链接信息, 连续地抓取网页(既可以是静态的, 也可以是动态的) 和网络中的文件, 将网内的信息进行全部提取。 关键词 网页数据 抓取 设计原则 分析 1.引言在互联网络的时代，信息如同大海般没有边际。甚至我们获取信息的方法已经发生改变：从传统的翻书查字典，继而变成通过搜索引擎进行检索。我们从信息匮乏的时代一下子走到了信息极大丰富今天。在今天，困扰我们的问题不是信息太少，而是太多，多得让你无从分辨，无从选择。因此，提供一个能够自动在互联网上抓取数据，并自动分拣、分析的工具有非常重要的意义。 我们通过传统的搜索引擎所获得的信息，通常是通过网页的形式所展现的，这样的信息人工阅读起来自然亲切，但计算机却很难进行加工和再利用。而且检索到的信息量太大，我们很难在大量的检索结果中抽取出我们最需要的信息。  2.网页数据抓取分类 首先要了解对方网页的运行机制?，这可以用ht