基于J2EE的网络爬虫技术的研究毕业设计论文.docVIP

1 绪论 1.1 课题的研究背景 随着计算机网络的不断发展，越来越多的用户以及开发人员深切地感受到了计算机技术在搜索领域中的作用越来越重要，越来越要求搜索引擎执行效率。掌握计算机是生活的需要，是职业的需要，更是产业发展的需要，更是为了创造更高的经济利润的需要。 信息在社会和经济的发展中所起的作用越来越为人们所重视。随着网络的迅速发展，万维网称为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。在计算机的三大主要应用领域(科学计算、数据处理与过程控制)中，数据处理的比重约占70%左右。计算机作为信息处理的工具，为适应数据处理需求的迅速提高，满足各类信息系统对数据管理的要求，在文件系统的基础上发展起了数据库系统。 数据库技术产生于60年代末，70年代初期，其主要目的是有效地管理和存取大量的数据资源。数据库技术主要研究如何存储、使用和管理数据，是计算机数据管理技术发展的最新阶段。数据库存储的是通用化的相关数据集合，它不仅包括数据本身，而且包括数据之间的联系。30多年来，数据库在理论上、实现技术上均得到很大的发展，研制出许多商用数据库管理系统，使得计算机应用渗透到各行各业的各类管理工作中。现在，数据库技术已成为计算机领域里最重要的技术之一，是软件学科的一个独立分支。近年来，数据库技术和计算机网络技