分布式银行网站网页信息获取系统实现-软件工程专业论文.docx

Classified Index：TP311.52 U.D.C.: 621.3 Dissertation for the Master’s Degree in Engineering DISTRIBUTED OBTAINING INFORMATION SYSTEMS AIMMING AT BANK WEBSITE PAGES Candidate: Supervisor: Associate Supervisor: Academic Degree Applied for: Speciality: Affiliation： Date of Defence: Degree-Conferring-Institution:  Zhao Jinghua Professor Zhang Hongli Senior Engineer Cong Bai Master of Engineering Software Engineering School of Software June, 2008 Harbin Institute of Technology 哈尔滨工业大学工程硕士学位论文 哈尔滨工业大学工程硕士学位论文 - - I - 摘 要 近几年来，互联网迅猛发展，网络中流通的 Web 信息量巨大，其中各国银 行网站发布的信息更是受到金融界的广泛关注。对互联网上各国银行网站发布 的汇率、利率等财政信息进行长期的统计，也就成为了解其他国家财政、经济 政策的一种主要手段。针对当前的实际需求，对网页信息获取及计算技术的研 究成为当前和未来一段时期内学术研究的重点。做为我国央行的人民银行，在 此方面投入了大量的科研资金，各个地方人民银行也积极地进行这方面的研究 工作。针对这一情况，本文展开了基于广域网的分布式银行网站网页信息获取 系统的研究与实现。 网页信息获取系统（网络爬虫）研究中最重要的是设计构架和关键技术的 解决。在吸取了他人技术和经验的基础上，本文设计描述了一个基于广域网的 分布式网络爬虫的结构设计，其中包括硬件的构架，和软件的模块划分。硬件 部分由一台 PC 机做控制节点，N 台 PC 机做爬行节点，在广域网中连接。软件 部分又分为控制节点软件设计和爬行节点软件设计。 然后本文分析了分布式网络爬虫的关键技术的解决方法，比如分布式的各 个结点如何协同工作，任务如何分配等等，进而提出了一些实用的算法，解决 了这些分布式网络爬虫的关键技术，实现了一个具备健壮性，可扩展性，可配 置性的分布式网络爬虫，并就该分布式网络爬虫进行了仔细的剖析。特别是对 分布式系统的任务分配，采用了网络性能指标指导预测效果法。最后在该网络 爬虫上作了一些测试，包括了单机爬行测试和该网络爬虫的一个应用，即银行 网站网页信息的抓取测试。以及对多种分布式系统任务分配的方法指导下实际 运行的效果进行了对比，得出网络性能指标指导预测效果法为最佳的任务调度 方法。 关键词 网络爬虫；广域网；分布式系统 - - II - Abstract In recent years, with the rapid development of Internet, tremendous amount of information is flowing in the Web, including national banking site information published by the financial sector ,which is more widespread concerned. Long-term statistics on the Internet site issued by the exchange rate, interest rates and other financial information, will become the understanding of other countries in financial, economic policy a primary tool for The national bank. In view of the actual demand,web access to information and technology research becames the focus of academic research in the current and future period of time. As the Peoples Bank of Chinas central bank, in this regard has invested a lot of research funds, various part